← Glosario Término
robots.txt
Un pequeño archivo de texto en un sitio web que indica a los rastreadores automáticos qué páginas pueden visitar.
Cada sitio web puede colocar un archivo llamado robots.txt en su raíz. Enumera, en líneas simples, qué rastreadores (programas que visitan páginas automáticamente) son bienvenidos y qué partes del sitio deben dejar en paz.
Funciona como una señal de cortesía en una puerta, no como una cerradura. Los rastreadores honestos lo siguen, pero no pueden detener a alguien que lo ignora y no pueden recuperar lo que ya se recopiló.
Mencionado en