Los robots de Páginas web o El archivo robots.txt
Un archivo /robots.txt es un archivo que se encuentra en la raíz de un sitio e indica a qué partes no quieres que accedan los rastreadores de los motores de búsqueda
Crawlers
El archivo robots.txt Preguntas Frecuentes
Existe toda una gama de preguntas que podrían surgir en la búsqueda de comprensión y utilización del tema de los archivo robots.txt, a continuación resumimos algunas de ellas