← Glossaire Terme
robots.txt
Un petit fichier texte sur un site Web qui indique aux robots d'exploration automatiques les pages qu'ils peuvent visiter.
Chaque site Web peut placer un fichier appelé robots.txt à sa racine. Il répertorie, en lignes simples, quels robots d’exploration (programmes qui visitent automatiquement les pages) sont les bienvenus et quelles parties du site ils doivent laisser tranquilles.
Cela fonctionne comme un signe de politesse sur une porte, pas comme une serrure. Les robots honnêtes le suivent, mais ils ne peuvent pas arrêter quelqu’un qui l’ignore, et ils ne peuvent pas reprendre ce qui a déjà été collecté.
Mentionné dans