Robots.txt
Aus Suchmaschinen Web
Die Datei Robots.txt ist eine Textdatei die man mit einem beliebigen Texteditor erstellen kann. Die Datei wird verwendet um einem Spider von Suchmaschinen zu erlauben oder zu verbieten bestimmte Verzeichnisse einer Webseite aufzunehmen. Mit einer leeren Robots.txt datei erlaubt man allen Robots alles aufzunehmen. Generell sollte man eine Robots.txt einsetzen um bestimmten Arten von Spider Programmen das Aufnehmen in den Index zu verbieten, zum Beispiel für private Bilder-Archive.<p>
In Foren sollte man das Spidern von dynamischen Seiten verbieten. Sonst gibt es das Problem das jede Menge Seiten im Index sind die sich nur geringfügig unterscheiden. Wenn Seiten geheim bleiben sollen:
User Agent: *
Disallow: /
Weitere Möglichkeiten mit Robots.txt Suchmaschinen zu steuern:
Weblinks