# Lars L. Juni 2009
#
#
# robots.txt für die Website http://www.pfadfinder-bassenheim.de/
#
# Robots Exclusion Standard
#
# Nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls liest ein Webcrawler (Robot)
# beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root)
# einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler
# besucht werden darf. Website-Betreiber haben so die Möglichkeit, ausgesuchte Bereiche ihrer Webpräsenz
# für (bestimmte) Suchmaschinen zu sperren.
# 
# Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawlers angewiesen. Man spricht hier
# auch von „freundlichen“ Webcrawlern. Ein Ausgrenzen bestimmter Teile einer Webpräsenz durch das Protokoll
# garantiert keine Geheimhaltung, dazu sind Seiten oder Unterverzeichnisse eines Servers über
# eine .htaccess-Datei zu schützen. Manche Suchmaschinen zeigen die vom Webcrawler gefundenen URLs
# trotzdem in den Suchergebnisseiten an, jedoch ohne Beschreibung der Seiten.
#
#
# Hinweis: Bis auf weiteres wird mit den folgenden Befehlen die komplette Website vor einer Indexierung durch
#          Webcrawler gesperrt.



User-agent: *
Disallow: /