Elegí qué bots de inteligencia artificial pueden rastrear tu sitio y cuáles no, y copiá el archivo listo. Separa los bots de búsqueda, los de entrenamiento y los que entran por pedido de un usuario.
Elegí qué hacer con cada bot o usá un atajo.
Pegá tus reglas actuales si ya tenés un robots.txt.
Copiá o descargá el archivo y subilo a la raíz de tu dominio.
1. Elegí qué hacer con cada bot
“Sin regla” no agrega nada para ese bot, que sigue las reglas generales del archivo.
Atajos:
2. Reglas generales y sitemap
Si ya tenés reglas para todos los bots (User-agent: *), pegalas acá. Según el estándar RFC 9309, un bot que tiene su propio grupo deja de leer el grupo general, así que la herramienta las repite dentro de cada grupo de IA.
3. Tu robots.txt
Qué controla y qué no controla el robots.txt
El robots.txt le pide a los bots que respetan el estándar que no rastreen ciertas rutas, pero no decide qué hace una empresa con el contenido que ya tiene, y tampoco es una medida de seguridad. En Google, la aparición en AI Overviews y AI Mode no se maneja con este archivo sino con el control de IA generativa de Search Console. Lo explico con más detalle en la nota sobre robots.txt y bots de IA.
En la raíz del dominio, de manera que se pueda abrir en https://tudominio.com/robots.txt. Si tenés subdominios, cada uno necesita su propio archivo. En WordPress muchos plugins de SEO permiten editarlo desde el panel sin acceder al servidor.
¿Bloquear GPTBot me saca de ChatGPT?
No. Según la documentación de OpenAI, GPTBot es el bot de entrenamiento y OAI-SearchBot es el de búsqueda. Si bloqueás GPTBot y permitís OAI-SearchBot, el contenido no se usa para entrenar modelos pero el sitio puede seguir apareciendo en las respuestas de búsqueda de ChatGPT.
¿Con el robots.txt puedo salir de AI Overviews y AI Mode?
No. En Google eso se controla desde Search Console, con el control de IA generativa de la Búsqueda. Google-Extended no afecta la Búsqueda: controla el entrenamiento de Gemini y la fundamentación en las apps de Gemini y Vertex AI.
¿Cuánto tarda en aplicarse un cambio?
Depende de cada empresa. OpenAI indica que sus sistemas pueden tardar unas 24 horas en reflejar un cambio en el robots.txt y Perplexity habla de hasta 24 horas. Google, según su documentación, generalmente guarda el robots.txt en caché hasta 24 horas.
¿El robots.txt impide que un bot entre al sitio?
No. Es un pedido que respetan los bots que siguen el estándar, pero no es una medida de seguridad. Además, los agentes que entran por pedido de un usuario, como ChatGPT-User o Perplexity-User, pueden no respetarlo según la documentación de esas empresas.