Probador de robots.txt
Prueba como funciona Robots.txt y que es lo que impides rastrear.
Probador de robots.txt
Pega un robots.txt o tráelo por dominio, elige el rastreador y escribe las URL que quieras comprobar. Te dice qué grupo se aplica, qué regla decide cada URL y en qué línea está, y avisa de lo que Google ignora o lee de otra forma. Sigue la lectura que hace Google, con las trampas que cuento en «Hacer un buen robots.txt».
Pega un robots.txt, o tráelo por dominio, para comprobarlo aquí.