← Glossar Begriff
robots.txt
Eine kleine Textdatei auf einer Website, die automatischen Crawlern mitteilt, welche Seiten sie besuchen dürfen.
Jede Website kann eine Datei namens robots.txt im Stammverzeichnis ablegen. Es listet in einfachen Zeilen auf, welche Crawler (Programme, die Seiten automatisch besuchen) willkommen sind und welche Teile der Website sie in Ruhe lassen sollten.
Es funktioniert wie ein Höflichkeitsschild an einer Tür, nicht wie ein Schloss. Ehrliche Crawler folgen ihm, aber er kann niemanden stoppen, der ihn ignoriert, und er kann nicht zurücknehmen, was bereits gesammelt wurde.
Erwähnt in