Robôs de IA no robots.txt: busca, acesso do usuário e treinamento

Robôs de IA fazem três coisas diferentes, e o robots.txt trata cada uma por um nome próprio. Os robôs de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot e o Bingbot, que alimenta o Copilot) decidem se o seu site pode aparecer nas respostas com link. Os fetchers acionados pelo usuário (ChatGPT-User, Claude-User, Perplexity-User) abrem uma página porque alguém pediu, na hora. Os robôs de treinamento (GPTBot, ClaudeBot, CCBot) coletam conteúdo que pode entrar no treino de modelos; Google-Extended e Applebot-Extended não são robôs, são nomes de controle para o mesmo fim. Dá para bloquear o treinamento e continuar liberado para a busca, porque as empresas documentam cada nome com uma função separada. Só não espere que o robots.txt impeça alguém de acessar o site: ele é um pedido, não uma trava.

As informações abaixo vêm da documentação oficial de cada empresa, consultada em 26 de outubro de 2026. Essas páginas mudam com frequência; confira a fonte antes de publicar regras novas. Se você ainda não conhece o robots.txt, comece pelo guia de rastreamento e indexação.

Como o robots.txt escolhe as regras de cada robô

O robots.txt é um arquivo de texto na raiz do site (por exemplo, https://www.exemplo.com.br/robots.txt) com grupos de regras. Cada grupo começa com uma ou mais linhas User-agent, que trazem o nome do robô (o "token"), seguidas de linhas Allow e Disallow com os caminhos. O padrão atual é a RFC 9309, e três regras dele explicam a maior parte das surpresas:

1. O robô procura o grupo com o nome dele, sem diferenciar maiúsculas de minúsculas.

2. Se achar, obedece só àquele grupo. O grupo User-agent: * fica de fora para ele.

3. Só quando não existe grupo com o nome dele é que o robô usa o grupo *.

A segunda regra pega muita gente: quem cria um grupo para o GPTBot e esquece de repetir ali o Disallow: /carrinho/ que estava no grupo * deixou o carrinho liberado para o GPTBot. A mesma RFC diz que essas regras "não são uma forma de autorização de acesso" (RFC 9309, seção 1).

Os três tipos de acesso ligados à IA

Robôs de busca e indexação

Rastreiam o site de forma automática para montar o índice que a ferramenta consulta ao responder. Bloquear um deles reduz ou elimina a presença do site nas respostas daquela ferramenta; o efeito exato varia conforme a documentação de cada empresa.

• O OAI-SearchBot, da OpenAI, mostra sites nos recursos de busca do ChatGPT. Segundo a OpenAI, sites que bloqueiam esse robô não aparecem nas respostas da busca do ChatGPT, mas ainda podem aparecer como link de navegação. A empresa recomenda liberar o robô e as faixas de IP publicadas (OpenAI).

• O Claude-SearchBot, da Anthropic, analisa conteúdo para melhorar a relevância e a precisão das respostas de busca do Claude. Bloquear impede a indexação e, segundo a Anthropic, pode reduzir a visibilidade do site nessas respostas (Anthropic).

• O PerplexityBot mostra e linka sites nos resultados da Perplexity. A empresa diz que ele não é usado para coletar conteúdo para modelos de base (Perplexity).

• O Bingbot, da Microsoft, é o robô da busca do Bing, e o Copilot usa o mesmo índice. As diretrizes do Bing dizem que a busca do Bing e o Copilot dependem da mesma base de rastreamento, indexação e ranqueamento, e listam "bloquear o Bingbot no robots.txt" entre as práticas a evitar (diretrizes do Bing). A lista oficial de robôs do Bing não traz um robô separado para o Copilot (Bing).

No Google, o robô é o próprio Googlebot. A página do Google sobre recursos de IA na Busca diz que, como a IA faz parte da Busca, as regras do robots.txt para o Googlebot são o controle de acesso para esses recursos (Google). Bloquear o Googlebot para sair do AI Overviews tira o site da Busca inteira. A seção sobre o Google, mais abaixo, mostra as opções que existem hoje.

Fetchers acionados pelo usuário

Um fetcher é um programa que busca uma página específica, uma vez, sem sair seguindo links. Os de IA entram em ação quando alguém faz uma pergunta e o assistente decide abrir uma URL para responder. Como quem pediu foi uma pessoa, parte das empresas diz que o robots.txt pode não ser seguido nesse caso.

• O ChatGPT-User, da OpenAI, é usado em ações de usuários no ChatGPT e em GPTs personalizados. A OpenAI diz que ele não rastreia a web de forma automática, que "as regras do robots.txt podem não se aplicar" porque a ação parte do usuário, e que ele não decide se o conteúdo aparece na busca; para isso vale o OAI-SearchBot (OpenAI).

• O Claude-User, da Anthropic, acessa sites quando alguém faz uma pergunta ao Claude. Aqui a Anthropic segue outro caminho: diz que os robôs dela, incluindo este, respeitam o robots.txt, e que bloquear o Claude-User impede o sistema de buscar o seu conteúdo para responder ao usuário (Anthropic).

• O Perplexity-User visita páginas para responder perguntas e pode incluir o link na resposta. A Perplexity diz que, como a busca foi pedida por um usuário, esse fetcher "em geral ignora as regras do robots.txt" (Perplexity).

Treinamento de modelos

São os robôs (ou nomes de controle) que dizem se o conteúdo pode entrar no treino de modelos de IA.

• O GPTBot, da OpenAI, rastreia conteúdo que pode ser usado no treino dos modelos de base da OpenAI. Bloqueá-lo indica que o conteúdo do site não deve ser usado nesse treino (OpenAI).

• O ClaudeBot, da Anthropic, coleta conteúdo que pode contribuir para o treino dos modelos. Segundo a Anthropic, restringir o ClaudeBot sinaliza que os materiais futuros do site devem ficar fora dos dados de treino (Anthropic). A palavra é "futuros": a página não fala de conteúdo já coletado.

• O CCBot é da Common Crawl, uma fundação sem fins lucrativos que mantém um acervo aberto de páginas da web para qualquer pessoa baixar e analisar. O robô lê o robots.txt antes de buscar uma página (FAQ da Common Crawl). A Common Crawl não é empresa de IA, mas o acervo é público e o CCBot aparece em listas de bloqueio de treino; a Cloudflare, por exemplo, o inclui entre os robôs bloqueados quando o cliente escolhe vetar treinamento (Cloudflare).

• O Google-Extended não é um robô. O Google diz que esse nome "não tem uma string de user-agent própria"; o rastreamento é feito pelos robôs de sempre, e o token só funciona como controle no robots.txt. Ele define se o conteúdo pode ser usado para treinar futuros modelos Gemini e para grounding (dar ao modelo, na hora da pergunta, conteúdo do índice da Busca) nos apps Gemini e na Vertex AI (Google).

• O Applebot-Extended, da Apple, também não rastreia nada. A Apple diz que ele "não rastreia páginas" e serve só para definir como os dados coletados pelo Applebot podem ser usados. Bloqueá-lo tira o conteúdo do treino dos modelos de base da Apple, e o site continua podendo aparecer nos resultados de busca (Apple).

Tabela de referência

Como bloquear o treinamento e continuar na busca

A OpenAI diz que cada configuração é independente: dá para liberar o OAI-SearchBot para aparecer na busca e bloquear o GPTBot para indicar que o conteúdo não deve ir para o treino (OpenAI). O Google diz que o Google-Extended não afeta a inclusão do site na Busca nem é usado como sinal de ranqueamento (Google). A Apple diz que páginas que bloqueiam o Applebot-Extended podem continuar nos resultados de busca (Apple). A Anthropic descreve ClaudeBot e Claude-SearchBot como robôs separados, cada um com seu efeito.

O caso mais comum fica assim:

# Treinamento de modelos: bloqueado
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Todos os outros, incluindo os robôs de busca
User-agent: *
Disallow: /carrinho/
Disallow: /minha-conta/

Sitemap: https://www.exemplo.com.br/sitemap.xml

Um grupo pode ter várias linhas User-agent seguidas, e as regras valem para todos os nomes listados (RFC 9309). Os robôs de busca não têm grupo próprio nesse exemplo, então seguem o grupo *.

Se você quiser deixar explícito quem está liberado, crie um grupo para os robôs de busca e repita nele as restrições do grupo *, pela regra do grupo específico que vimos no início:

# Busca em ferramentas de IA: liberada, menos áreas privadas
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /carrinho/
Disallow: /minha-conta/

# Treinamento: bloqueado
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /carrinho/
Disallow: /minha-conta/

Sitemap: https://www.exemplo.com.br/sitemap.xml

Também dá para bloquear o treino só em parte do site. O próprio Google usa um exemplo assim com o Google-Extended:

User-agent: Google-Extended
Allow: /arquivo/1Q84
Disallow: /arquivo/

Dois cuidados. O Applebot segue as regras do Googlebot quando o robots.txt não tem grupo para ele (Apple); um grupo que bloqueia o Googlebot acaba bloqueando também a busca da Apple. E o Bing não tem nome separado para treino ou para o Copilot no robots.txt: bloquear o Bingbot tira o site do Bing e do Copilot ao mesmo tempo.

Bing e Copilot: o controle fica nas meta tags

Para limitar o uso no Copilot sem sair do Bing, a Microsoft usa a meta tag robots (ou o cabeçalho X-Robots-Tag), página por página (Bing):

• Com noarchive, a página não é linkada no Chat e no Copilot, e o conteúdo não é usado para treinar os modelos de base da Microsoft.

• Com nocache, o Copilot mostra só URL, título e trecho, e só esses campos podem ir para o treino. Com as duas tags, vale nocache.

• Com noindex, a página sai do índice do Bing e também não é usada no treino.

Trocar name="robots" por name="bingbot" faz a tag valer só para o Bing. As diretrizes atuais do Bing avisam que nocache reduz a profundidade das citações no Copilot (Bing).

Google: AI Overviews, AI Mode e Gemini são controles diferentes

No Google há três controles, e cada um age sobre uma coisa diferente:

1. O Google-Extended, no robots.txt, controla o treino de futuros modelos Gemini e o grounding nos apps Gemini e na Vertex AI. Segundo a ajuda do Search Console, ele também é o caminho para limitar o treino dos modelos que geram respostas nos recursos de IA generativa da Busca (Search Console). Não afeta a presença nem o ranqueamento na Busca.

2. O controle de IA generativa do Search Console, liberado para todos os sites em 31 de agosto de 2026, permite excluir os links e o conteúdo do site do AI Overviews, do AI Mode e dos recursos de IA generativa do Discover. O Google diz que esse controle não é sinal de ranqueamento para o resto da Busca e não afeta o treino de IA (Search Console).

3. Os controles de trecho na página (nosnippet, data-nosnippet, max-snippet e noindex) limitam o que aparece da página na Busca, incluindo os recursos de IA (Google).

O que o robots.txt não resolve

Não é controle de acesso

O robots.txt expressa uma preferência. A RFC 9309 diz que as regras não são autorização de acesso, e o Google diz que o arquivo não serve para manter uma página fora do Google: para isso, use noindex ou proteja a página com senha (Google). A Cloudflare escreve o mesmo: seguir o robots.txt é voluntário, e alguns operadores de robôs ignoram as diretivas (Cloudflare). Conteúdo que não pode ser lido por terceiros precisa de login, não de Disallow.

Os fetchers acionados pelo usuário são o caso mais claro. Se você precisa barrar o ChatGPT-User ou o Perplexity-User, o robots.txt pode não bastar, segundo as próprias empresas. O bloqueio tem de ser feito no servidor ou no firewall de aplicação (WAF), pelo user-agent conferido com as faixas de IP publicadas.

O user-agent pode ser falsificado

Qualquer programa pode se apresentar como GPTBot ou Googlebot. O Bing diz que strings de user-agent são fáceis de falsificar (Bing), e a Common Crawl diz saber de robôs que se passam pelo CCBot (Common Crawl). Antes de tirar conclusões dos logs ou de liberar um robô no firewall, confirme a origem:

As listas mudam. O Bing pede para atualizar a lista de IPs todo dia, e a Perplexity recomenda automatizar a atualização das regras de WAF. A Anthropic faz um alerta no sentido oposto: bloquear os IPs dela em vez de usar o robots.txt pode não garantir a exclusão, porque impede o robô de ler o arquivo com a sua preferência.

O CDN ou o WAF podem bloquear antes do robots.txt

Se o site passa por um CDN ou WAF com gestão de robôs, a requisição pode ser barrada antes de chegar ao servidor, seja qual for o robots.txt. Na Cloudflare, por exemplo, as políticas de robôs de IA têm opções separadas para busca, agente e treinamento, cada uma com bloqueio em todas as páginas, bloqueio só em páginas com anúncios ou liberação. Para domínios novos, desde 15 de setembro de 2026 o padrão bloqueia robôs de treinamento e de agente nas páginas com anúncios e mantém a busca liberada (Cloudflare). A Cloudflare também pode inserir regras próprias no início do robots.txt que ela entrega, quando a sincronização de preferências está ligada (Cloudflare).

Na prática, o robots.txt que você editou pode não ser o que os robôs recebem, e um robô liberado no arquivo pode estar bloqueado na borda. Abra a URL pública do robots.txt para ver o conteúdo servido e confira os eventos de firewall do CDN. A Perplexity, por exemplo, orienta liberar os robôs dela no WAF quando o site usa um.

Então, devo bloquear GPTBot, ClaudeBot e similares?

Essa parte é recomendação, não fato documentado. A decisão é de negócio, e o robots.txt permite tomar as duas separadamente:

• Se o site depende de ser encontrado (loja, serviço, conteúdo que traz clientes), mantenha liberados os robôs de busca. Bloquear OAI-SearchBot, Claude-SearchBot, PerplexityBot ou Bingbot reduz ou elimina a presença do site nas respostas dessas ferramentas.

• Bloquear o treinamento é uma escolha sobre o uso do conteúdo. Pela documentação da OpenAI, do Google e da Apple, ele não afeta a busca dessas empresas. Nenhuma delas promete efeito sobre conteúdo já coletado.

• Fetchers acionados pelo usuário trazem visitas de pessoas que perguntaram algo a um assistente. Bloqueá-los faz sentido em áreas que não devem ser lidas por automação; fora disso, o bloqueio tende a só tirar o site dessas respostas.

Essa divisão não se aplica a sites que não querem nenhum uso por IA. Nesse caso, a saída é bloquear todos os nomes e aceitar a perda de visibilidade nessas ferramentas; no Google e no Bing, isso significa usar os controles de página e o Search Console, porque bloquear o Googlebot ou o Bingbot tira o site da busca tradicional também.

Um ponto que costuma aparecer junto: o arquivo llms.txt não controla nada disso. Ele é uma proposta de resumo do site para agentes de IA, sem efeito de permissão. Os detalhes estão no artigo sobre llms.txt.

Como verificar o seu site

O validador de robots.txt do WebVyze é grátis e confere a sintaxe do arquivo, o sitemap declarado e quais robôs podem rastrear um caminho (Google, Bing, ChatGPT, Perplexity, Claude e Gemini), separando busca e treinamento. Ele lê o robots.txt que o site entrega publicamente; bloqueios feitos no CDN ou no firewall precisam ser conferidos no painel desses serviços.