← Glossario Termine
robots.txt
Un piccolo file di testo su un sito web che indica ai crawler automatici quali pagine possono visitare.
Ogni sito web può posizionare un file chiamato robots.txt alla radice. Elenca, in linee semplici, quali crawler (programmi che visitano le pagine automaticamente) sono i benvenuti e quali parti del sito dovrebbero lasciare intatte.
Funziona come un segno gentile su una porta, non su una serratura. I crawler onesti lo seguono, ma non possono fermare chi lo ignora e non possono riprendersi ciò che è già stato raccolto.
Citato in