El archivo robots.txt Preguntas Frecuentes

Existe toda una gama de preguntas que podrían surgir en la búsqueda de comprensión y utilización del tema de los archivo robots.txt, a continuación resumimos algunas de ellas