Probador de robots.txt

Prueba como funciona Robots.txt y que es lo que impides rastrear.

Pega o trae el robots.txt Por dominio o a mano. Solo cuenta el de la raíz, y «Traer» lo pide justo ahí.
Elige rastreador y URL Una URL por línea. El veredicto se actualiza según escribes.
Lee qué decide, y por qué Grupo aplicado, preferencia de entrenamiento de IA, avisos de lo que Google ignora y la línea exacta de cada regla.

el archivo completo, tal cual lo sirve el dominio

Pega un robots.txt o tráelo por dominio para comprobarlo aquí.

También puedes arrastrar el archivo sobre el cuadro de texto o .

Rastreador

URL a comprobar una por línea · valen rutas empezando por /

Veredicto

qué se aplica a ese rastreador, qué avisa y en qué línea está cada cosa

grupo aplicado regla decisiva con aviso

Si tienes algún feedback, comentario, necesidad de soporte o detectas un fallo en mis herramientas puedes contactarme en mi LinkedIn