# robots.txt for http://www.traumgaerten.ch/ User-agent: Googlebot # # Erstmal generell alles verbieten Disallow: / # # wo ist die Sitemap? # #Sitemap: http://www.domain.com/gsitemap.php # # lediglich folgende Verzeichnisse/Dateien erlauben # Allow: /index.php #Allow: /gsitemap.php Allow: /uploads/ Allow: /*.html$ Allow: /*.html* # # Da wir das gesamte Verzeichnis uploads erlaubt haben, # müssen wir nun doch noch einige spezielle Dateien ausschließen # Disallow: /*.cgi$ Disallow: /*.css$ Disallow: /*.gif$ Disallow: /*.gz$ Disallow: /*.inc$ Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.js$ Disallow: /*.php$ Disallow: /*.php* Disallow: /*.png$ Disallow: /*.tpl$ Disallow: /*.wmv$ Disallow: /*.flv$ Disallow: /*.xhtml$ # ... usw. ############ User-agent: Googlebot-Image Disallow: / Allow: /uploads/images/*.jpg$ Allow: /uploads/images/*.jpeg$ Allow: /uploads/images/*.png$ Allow: /uploads/images/*.gif$ # hier bricht Google-Image ab ################################################################################ # # Für alle anderen Bots generell die Indizierung verbieten # User-agent: * Disallow: / Allow: /index.php Allow: /uploads/ Allow: /*.html$ Allow: /*.html*