Saltar al contenido

Herramienta gratuita · Robots.txt tester

Probador de robots.txt

Pegá tu robots.txt y una o varias URLs, y mirá si Googlebot, Bingbot o los bots de IA pueden rastrearlas, con la regla exacta que decide cada caso según cómo interpreta Google el archivo.

  1. Pegá el contenido de tu robots.txt.
  2. Escribí las URLs o rutas que querés probar.
  3. Elegí los bots y mirá el resultado al instante.

1. Tu robots.txt

Abrí tudominio.com/robots.txt, copiá todo y pegalo acá.

2. URLs a probar

Una por línea. Pueden ser URLs completas o rutas que empiecen con /.

3. Resultado

Pasá el mouse o tocá un resultado para ver la regla que lo decide.

Cómo decide Google qué regla aplica

De acuerdo a la documentación de Google sobre el robots.txt, cada bot sigue un solo grupo, el que nombra a su user-agent de la forma más específica, y si no hay ninguno sigue el grupo de User-agent: *. Dentro de ese grupo gana la regla con la ruta más larga que coincide con la URL, y si una regla Allow y una Disallow tienen el mismo largo gana la menos restrictiva, es decir la Allow. Las rutas distinguen mayúsculas y minúsculas, y se pueden usar * como comodín y $ para marcar el final de la URL.

Tenga en cuenta que el robots.txt controla el rastreo y no la indexación, por lo cual una URL bloqueada puede aparecer igual en Google si recibe enlaces, y para sacarla del índice hay que usar noindex y dejarla rastrear. Si querés armar las reglas para los bots de IA podés usar el generador de robots.txt para bots de IA.

Preguntas frecuentes

¿Esta herramienta lee el robots.txt de mi sitio?
No. Funciona con el texto que pegás, sin conectarse a tu dominio. Así podés probar cambios antes de subirlos, sin tocar el archivo que está publicado.
¿Qué pasa si un bot no tiene un grupo propio?
Sigue las reglas de User-agent: *. Si tiene un grupo propio, según la documentación de Google sigue solo ese grupo e ignora el general, por eso conviene repetir ahí las reglas generales que también quieras aplicarle.
Si una URL está bloqueada, ¿sale de Google?
No necesariamente. El robots.txt evita el rastreo, pero una URL bloqueada puede seguir indexada si tiene enlaces. Para sacarla del índice hay que usar noindex y permitir que Google la rastree para que lo vea.
¿Distingue mayúsculas y minúsculas?
En las rutas sí: /Blog/ y /blog/ son distintas. En el nombre del user-agent no.
¿Los resultados son iguales para todos los buscadores?
La herramienta aplica las reglas tal como las documenta Google, que coinciden con el estándar RFC 9309. Otros bots pueden interpretar algunos casos de otra manera o directamente no respetar el archivo.

Otras herramientas

Generador de robots.txt para bots de IAElegí qué bots de IA dejar entrarGenerador de sitemap XMLDe una lista de URLs al archivoGenerador de redirecciones 301Para .htaccess, Nginx o CSVGenerador de llms.txtResumen del sitio para IA