Los robots de Páginas web o El archivo robots.txt

Un archivo /robots.txt es un archivo que se encuentra en la raíz de un sitio e indica a qué partes no quieres que accedan los rastreadores de los motores de búsqueda. Los robots web también conocidos como vagabundos web, rastreadores o arañas del web (Wanderers, Crawlers, Spiders), son programas que recorren la Web de forma automática.  Los motores de … Sigue leyendo Los robots de Páginas web o El archivo robots.txt