Bots de IA en robots.txt: búsqueda, acceso del usuario y entrenamiento

Los robots de IA hacen tres cosas distintas, y el robots.txt trata cada una con un nombre propio. Los robots de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot y Bingbot, que alimenta a Copilot) deciden si tu sitio puede aparecer en las respuestas con enlace. Los fetchers activados por el usuario (ChatGPT-User, Claude-User, Perplexity-User) abren una página porque alguien lo pidió en ese momento. Los robots de entrenamiento (GPTBot, ClaudeBot, CCBot) recogen contenido que puede acabar en el entrenamiento de modelos; Google-Extended y Applebot-Extended no son robots, son nombres de control con el mismo fin. Puedes bloquear el entrenamiento y seguir abierto a la búsqueda, porque las empresas documentan cada nombre con una función separada. Lo que no debes esperar es que el robots.txt impida a alguien acceder al sitio: es una petición, no un candado.

La información de abajo sale de la documentación oficial de cada empresa, consultada el 26 de octubre de 2026. Estas páginas cambian a menudo; revisa la fuente antes de publicar reglas nuevas. Si todavía no conoces el robots.txt, empieza por la guía de rastreo e indexación.

Cómo elige el robots.txt las reglas de cada robot

El robots.txt es un archivo de texto en la raíz del sitio (por ejemplo, https://www.ejemplo.com/robots.txt) con grupos de reglas. Cada grupo empieza con una o más líneas User-agent, que llevan el nombre del robot (el "token"), seguidas de líneas Allow y Disallow con las rutas. El estándar actual es la RFC 9309, y tres de sus reglas explican la mayoría de las sorpresas:

1. El robot busca el grupo con su nombre, sin distinguir mayúsculas de minúsculas.

2. Si lo encuentra, solo obedece a ese grupo. El grupo User-agent: * deja de aplicarse a él.

3. Solo cuando no existe un grupo con su nombre usa el robot el grupo *.

La segunda regla sorprende a mucha gente: quien crea un grupo para GPTBot y olvida repetir ahí el Disallow: /carrito/ que estaba en el grupo * ha dejado el carrito abierto a GPTBot. La misma RFC dice que estas reglas "no son una forma de autorización de acceso" (RFC 9309, sección 1).

Los tres tipos de acceso relacionados con la IA

Robots de búsqueda e indexación

Rastrean el sitio de forma automática para montar el índice que la herramienta consulta al responder. Bloquear uno de ellos reduce o elimina la presencia del sitio en las respuestas de esa herramienta; el efecto exacto varía según la documentación de cada empresa.

• OAI-SearchBot, de OpenAI, muestra sitios en las funciones de búsqueda de ChatGPT. Según OpenAI, los sitios que bloquean este robot no aparecen en las respuestas de la búsqueda de ChatGPT, aunque todavía pueden aparecer como enlace de navegación. La empresa recomienda permitir el robot y los rangos de IP publicados (OpenAI).

• Claude-SearchBot, de Anthropic, analiza contenido para mejorar la relevancia y la precisión de las respuestas de búsqueda de Claude. Bloquearlo impide la indexación y, según Anthropic, puede reducir la visibilidad del sitio en esas respuestas (Anthropic).

• PerplexityBot muestra y enlaza sitios en los resultados de Perplexity. La empresa dice que no se usa para recoger contenido para modelos fundacionales (Perplexity).

• Bingbot, de Microsoft, es el robot de la búsqueda de Bing, y Copilot usa el mismo índice. Las directrices de Bing dicen que la búsqueda de Bing y Copilot dependen de la misma base de rastreo, indexación y clasificación, y enumeran "bloquear Bingbot en el robots.txt" entre las prácticas que hay que evitar (directrices de Bing). La lista oficial de robots de Bing no incluye un robot separado para Copilot (Bing).

En Google, el robot es el propio Googlebot. La página de Google sobre las funciones de IA en la Búsqueda dice que, como la IA forma parte de la Búsqueda, las reglas del robots.txt para Googlebot son el control de acceso para esas funciones (Google). Bloquear Googlebot para salir de AI Overviews saca el sitio de toda la Búsqueda. La sección sobre Google, más abajo, muestra las opciones que existen hoy.

Fetchers activados por el usuario

Un fetcher es un programa que descarga una página concreta, una vez, sin ponerse a seguir enlaces. Los de IA entran en acción cuando alguien hace una pregunta y el asistente decide abrir una URL para responder. Como quien lo pidió fue una persona, algunas empresas dicen que en este caso el robots.txt puede no respetarse.

• ChatGPT-User, de OpenAI, se usa en acciones de usuarios en ChatGPT y en GPTs personalizados. OpenAI dice que no rastrea la web de forma automática, que "las reglas del robots.txt pueden no aplicarse" porque la acción parte del usuario, y que no decide si el contenido aparece en la búsqueda; para eso está OAI-SearchBot (OpenAI).

• Claude-User, de Anthropic, accede a sitios cuando alguien hace una pregunta a Claude. Aquí Anthropic sigue otro camino: dice que sus robots, incluido este, respetan el robots.txt, y que bloquear Claude-User impide que el sistema busque tu contenido para responder al usuario (Anthropic).

• Perplexity-User visita páginas para responder preguntas y puede incluir el enlace en la respuesta. Perplexity dice que, como la búsqueda la pidió un usuario, este fetcher "en general ignora las reglas del robots.txt" (Perplexity).

Entrenamiento de modelos

Son los robots (o nombres de control) que indican si el contenido puede usarse para entrenar modelos de IA.

• GPTBot, de OpenAI, rastrea contenido que puede usarse para entrenar los modelos fundacionales de OpenAI. Bloquearlo indica que el contenido del sitio no debe usarse en ese entrenamiento (OpenAI).

• ClaudeBot, de Anthropic, recoge contenido que puede contribuir al entrenamiento de los modelos. Según Anthropic, restringir ClaudeBot indica que los materiales futuros del sitio deben quedar fuera de los datos de entrenamiento (Anthropic). La palabra es "futuros": la página no habla del contenido ya recogido.

• CCBot es de Common Crawl, una fundación sin ánimo de lucro que mantiene un archivo abierto de páginas web que cualquiera puede descargar y analizar. El robot lee el robots.txt antes de descargar una página (FAQ de Common Crawl). Common Crawl no es una empresa de IA, pero su archivo es público y CCBot aparece en listas de bloqueo de entrenamiento; Cloudflare, por ejemplo, lo incluye entre los robots que bloquea cuando el cliente decide vetar el entrenamiento (Cloudflare).

• Google-Extended no es un robot. Google dice que este nombre "no tiene una cadena de user-agent propia"; el rastreo lo hacen los robots de siempre, y el token solo funciona como control en el robots.txt. Define si el contenido puede usarse para entrenar futuros modelos Gemini y para el grounding (darle al modelo, en el momento de la pregunta, contenido del índice de la Búsqueda) en las apps de Gemini y en Vertex AI (Google).

• Applebot-Extended, de Apple, tampoco rastrea nada. Apple dice que "no rastrea páginas" y que solo sirve para definir cómo pueden usarse los datos que recoge Applebot. Bloquearlo saca el contenido del entrenamiento de los modelos fundacionales de Apple, y el sitio puede seguir apareciendo en los resultados de búsqueda (Apple).

Tabla de referencia

Cómo bloquear el entrenamiento y seguir en la búsqueda

OpenAI dice que cada configuración es independiente: puedes permitir OAI-SearchBot para aparecer en la búsqueda y bloquear GPTBot para indicar que el contenido no debe ir al entrenamiento (OpenAI). Google dice que Google-Extended no afecta a la inclusión del sitio en la Búsqueda ni se usa como señal de clasificación (Google). Apple dice que las páginas que bloquean Applebot-Extended pueden seguir en los resultados de búsqueda (Apple). Anthropic describe ClaudeBot y Claude-SearchBot como robots separados, cada uno con su efecto.

El caso más común queda así:

# Entrenamiento de modelos: bloqueado
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Todos los demás, incluidos los robots de búsqueda
User-agent: *
Disallow: /carrito/
Disallow: /mi-cuenta/

Sitemap: https://www.ejemplo.com/sitemap.xml

Un grupo puede tener varias líneas User-agent seguidas, y las reglas valen para todos los nombres de la lista (RFC 9309). En este ejemplo los robots de búsqueda no tienen grupo propio, así que siguen el grupo *.

Si quieres dejar claro quién está permitido, crea un grupo para los robots de búsqueda y repite en él las restricciones del grupo *, por la regla del grupo específico que vimos al principio:

# Búsqueda en herramientas de IA: permitida, salvo las áreas privadas
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /carrito/
Disallow: /mi-cuenta/

# Entrenamiento: bloqueado
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /carrito/
Disallow: /mi-cuenta/

Sitemap: https://www.ejemplo.com/sitemap.xml

También se puede bloquear el entrenamiento solo en una parte del sitio. El propio Google usa un ejemplo así con Google-Extended:

User-agent: Google-Extended
Allow: /archivo/1Q84
Disallow: /archivo/

Dos precauciones. Applebot sigue las reglas de Googlebot cuando el robots.txt no tiene un grupo para él (Apple); un grupo que bloquea Googlebot acaba bloqueando también la búsqueda de Apple. Y Bing no tiene un nombre separado para el entrenamiento ni para Copilot en el robots.txt: bloquear Bingbot saca el sitio de Bing y de Copilot a la vez.

Bing y Copilot: el control está en las metaetiquetas

Para limitar el uso en Copilot sin salir de Bing, Microsoft usa la metaetiqueta robots (o la cabecera X-Robots-Tag), página por página (Bing):

• Con noarchive, la página no se enlaza en Chat ni en Copilot, y el contenido no se usa para entrenar los modelos fundacionales de Microsoft.

• Con nocache, Copilot muestra solo la URL, el título y el fragmento, y solo esos campos pueden ir al entrenamiento. Con las dos etiquetas, se aplica nocache.

• Con noindex, la página sale del índice de Bing y tampoco se usa en el entrenamiento.

Cambiar name="robots" por name="bingbot" hace que la etiqueta valga solo para Bing. Las directrices actuales de Bing advierten que nocache reduce la profundidad de las citas en Copilot (Bing).

Google: AI Overviews, AI Mode y Gemini son controles distintos

En Google hay tres controles, y cada uno actúa sobre una cosa distinta:

1. Google-Extended, en el robots.txt, controla el entrenamiento de futuros modelos Gemini y el grounding en las apps de Gemini y en Vertex AI. Según la ayuda de Search Console, también es la vía para limitar el entrenamiento de los modelos que generan respuestas en las funciones de IA generativa de la Búsqueda (Search Console). No afecta a la presencia ni a la clasificación en la Búsqueda.

2. El control de IA generativa de Search Console, disponible para todos los sitios desde el 31 de agosto de 2026, permite excluir los enlaces y el contenido del sitio de AI Overviews, de AI Mode y de las funciones de IA generativa de Discover. Google dice que este control no es una señal de clasificación para el resto de la Búsqueda y no afecta al entrenamiento de la IA (Search Console).

3. Los controles de fragmento en la página (nosnippet, data-nosnippet, max-snippet y noindex) limitan lo que aparece de la página en la Búsqueda, incluidas las funciones de IA (Google).

Lo que el robots.txt no resuelve

No es un control de acceso

El robots.txt expresa una preferencia. La RFC 9309 dice que las reglas no son una autorización de acceso, y Google dice que el archivo no sirve para mantener una página fuera de Google: para eso, usa noindex o protege la página con contraseña (Google). Cloudflare dice lo mismo: seguir el robots.txt es voluntario, y algunos operadores de robots ignoran las directivas (Cloudflare). El contenido que no deben leer terceros necesita un inicio de sesión, no un Disallow.

Los fetchers activados por el usuario son el caso más claro. Si necesitas bloquear ChatGPT-User o Perplexity-User, el robots.txt puede no bastar, según las propias empresas. El bloqueo hay que hacerlo en el servidor o en el cortafuegos de aplicaciones web (WAF), por user-agent contrastado con los rangos de IP publicados.

El user-agent se puede falsificar

Cualquier programa puede presentarse como GPTBot o Googlebot. Bing dice que las cadenas de user-agent son fáciles de falsificar (Bing), y Common Crawl dice que conoce robots que se hacen pasar por CCBot (Common Crawl). Antes de sacar conclusiones de los registros o de permitir un robot en el cortafuegos, confirma el origen:

Las listas cambian. Bing pide actualizar la lista de IPs cada día, y Perplexity recomienda automatizar la actualización de las reglas del WAF. Anthropic avisa en el sentido contrario: bloquear sus IPs en lugar de usar el robots.txt puede no garantizar la exclusión, porque impide que el robot lea el archivo con tu preferencia.

El CDN o el WAF pueden bloquear antes que el robots.txt

Si el sitio pasa por un CDN o un WAF con gestión de robots, la petición puede bloquearse antes de llegar al servidor, diga lo que diga el robots.txt. En Cloudflare, por ejemplo, las políticas de robots de IA tienen opciones separadas para búsqueda, agente y entrenamiento, cada una con bloqueo en todas las páginas, bloqueo solo en las páginas con anuncios o permiso. Para los dominios nuevos, desde el 15 de septiembre de 2026 la opción por defecto bloquea los robots de entrenamiento y de agente en las páginas con anuncios y deja permitida la búsqueda (Cloudflare). Cloudflare también puede insertar reglas propias al principio del robots.txt que entrega, cuando está activada la sincronización de preferencias (Cloudflare).

En la práctica, el robots.txt que editaste puede no ser el que reciben los robots, y un robot permitido en el archivo puede estar bloqueado en el borde. Abre la URL pública del robots.txt para ver el contenido que se sirve y revisa los eventos del cortafuegos del CDN. Perplexity, por ejemplo, indica que hay que permitir sus robots en el WAF cuando el sitio usa uno.

Entonces, ¿debo bloquear GPTBot, ClaudeBot y similares?

Esta parte es una recomendación, no un hecho documentado. La decisión es de negocio, y el robots.txt permite tomar las dos por separado:

• Si el sitio depende de que lo encuentren (una tienda, un servicio, contenido que trae clientes), mantén permitidos los robots de búsqueda. Bloquear OAI-SearchBot, Claude-SearchBot, PerplexityBot o Bingbot reduce o elimina la presencia del sitio en las respuestas de esas herramientas.

• Bloquear el entrenamiento es una decisión sobre el uso del contenido. Según la documentación de OpenAI, Google y Apple, no afecta a la búsqueda de esas empresas. Ninguna promete efectos sobre el contenido ya recogido.

• Los fetchers activados por el usuario traen visitas de personas que preguntaron algo a un asistente. Bloquearlos tiene sentido en áreas que no debe leer ninguna automatización; fuera de eso, el bloqueo suele limitarse a sacar el sitio de esas respuestas.

Esta división no se aplica a los sitios que no quieren ningún uso por parte de la IA. En ese caso, la salida es bloquear todos los nombres y aceptar la pérdida de visibilidad en esas herramientas; en Google y en Bing, eso significa usar los controles de página y Search Console, porque bloquear Googlebot o Bingbot también saca el sitio de la búsqueda tradicional.

Un punto que suele aparecer a la vez: el archivo llms.txt no controla nada de esto. Es una propuesta de resumen del sitio para agentes de IA, sin efecto de permiso. Los detalles están en el artículo sobre llms.txt.

Cómo revisar tu sitio

El validador de robots.txt de WebVyze es gratuito y revisa la sintaxis del archivo, el sitemap declarado y qué robots pueden rastrear una ruta (Google, Bing, ChatGPT, Perplexity, Claude y Gemini), separando búsqueda y entrenamiento. Lee el robots.txt que el sitio entrega públicamente; los bloqueos hechos en el CDN o en el cortafuegos hay que revisarlos en el panel de esos servicios.