llms.txt, GPTBot, ClaudeBot: o guia de higiene de rastreadores de IA para sites pequenos

Se gere um site pequeno, há boas hipóteses de o seu robots.txt não ser tocado desde que adicionou uma única regra para o GPTBot em 2023 — ou de nunca o ter tocado. Essa lacuna importa mais do que antes. Em meados de 2025, os dados de rede da Cloudflare mostraram que o rastreio ligado ao treino tinha crescido para cerca de 80% de toda a atividade de bots de IA, face a 72% um ano antes.^[3] Os rastreadores de IA são já uma fatia significativa de quem bate à porta do seu servidor todos os dias, e as regras que lhes der decidem duas coisas muito diferentes: se o seu conteúdo treina de graça o modelo de outra pessoa, e se aparece quando um comprador faz uma pergunta ao ChatGPT ou à Perplexity.

O que torna 2026 genuinamente diferente é que os grandes fornecedores de IA dividiram o seu rastreador único em vários. A OpenAI já não opera um só bot — opera o GPTBot para treino, o OAI-SearchBot para o ChatGPT Search e o ChatGPT-User para buscas sob demanda. A Anthropic opera três. A consequência prática: o reflexo de Disallow: / para cada user-agent de IA faz agora dois trabalhos ao mesmo tempo. Tira-o dos corpora de treino (muitas vezes o que queria) e apaga-o das respostas de busca de IA (quase nunca o que queria). A análise da Digital Applied ao quadro da Anthropic relata que cerca de 71% dos grandes editores de notícias bloqueiam pelo menos um bot de recuperação ou busca, frequentemente com a intenção de bloquear apenas o treino.^[5] É exatamente o erro caro que este guia foi feito para evitar.

O llms.txt é um ficheiro Markdown proposto pela comunidade que coloca na raiz do seu domínio (/llms.txt) e que lista as suas páginas mais importantes de forma limpa e analisável, para que um modelo de linguagem de grande dimensão encontre e compreenda o seu melhor conteúdo sem atravessar navegação, anúncios e scripts. Foi proposto por Jeremy Howard, da Answer.AI, em setembro de 2024. A analogia habitual é «um sitemap para LLMs», e a intenção é genuinamente sensata: dar aos modelos um mapa curado e de baixo ruído do que importa no seu site, opcionalmente com um /llms-full.txt mais completo que incorpora o conteúdo real.

O problema é a distância entre a ideia e a evidência. Após dezoito meses de conversa no setor, os dados são sóbrios:

• A adoção é de cerca de um em cada dez sites. O estudo da SE Ranking com 300.000 domínios encontrou uma taxa de adoção de 10,13%, e, crucialmente, a adoção foi quase idêntica nos níveis de tráfego baixo, médio e alto (~9–10% cada) — por isso não são os sites sofisticados que correm à frente.^[1]
• Sem aumento mensurável de citações. A mesma análise da SE Ranking não encontrou diferença estatisticamente significativa na frequência de citações de IA entre sites com e sem llms.txt. Um modelo treinado com dados de citações de IA até melhorou quando a variável llms.txt foi removida.^[1]
• Quase nada o lê. A Limy.AI monitorizou mais de 500 milhões de eventos de bots de IA em 90 dias e encontrou apenas 408 pedidos dirigidos diretamente ao llms.txt.^[14] A Search Engine Land seguiu 10 sites 90 dias antes e depois de adicionar o ficheiro; só dois viram aumentos de tráfego de IA, e não por causa do ficheiro.^[2]
• Sem suporte oficial. Em meados de 2026, nem a OpenAI, nem a Anthropic, nem a Google, nem a Perplexity confirmaram oficialmente que os seus sistemas leem ou agem sobre o llms.txt. Continua a ser uma especificação da comunidade, não um padrão adotado.

A conclusão não é «o llms.txt é inútil» — é que os dois ficheiros não são intercambiáveis, e o que realmente muda resultados hoje é o aborrecido e antigo. Se em 2026 só tiver tempo de pôr um ficheiro em ordem, que seja o robots.txt, com regras que reflitam o panorama atual de rastreadores de IA e não a versão de 2023.

Antes de escrever uma regra sensata, precisa de saber para que serve cada bot. Cada rastreador de IA faz um de três trabalhos: recolhe páginas para treinar modelos, indexa páginas para respostas de busca de IA, ou busca uma página em tempo real porque um utilizador perguntou ao assistente sobre ela agora mesmo. São relações comerciais distintas, e em 2026 os grandes fornecedores finalmente expõem-nas como bots distintos que pode controlar de forma independente.

Duas linhas merecem uma segunda leitura. O Google-Extended não é de todo um rastreador real — é um token de controlo que nunca aparece nos seus logs de servidor como um pedido HTTP. Apenas rege se o Google pode usar páginas que já rastreou (com o Googlebot normal) para treinar o Gemini e o Vertex AI. E o Bytespider (ByteDance) tem um historial documentado de ignorar o robots.txt de forma inconsistente, razão pela qual bloqueá-lo requer uma regra de firewall ou ao nível de IP em vez de um cortês Disallow.

O argumento de negócio para bloquear os rastreadores de treino resume-se a um único rácio: quantas das suas páginas um bot rastreia por cada visitante que lhe envia de volta. A Cloudflare publica este rácio crawl-to-referral na sua rede, e a dispersão entre fornecedores é extraordinária. O Googlebot tradicional ronda as 5 páginas rastreadas por referral. O ClaudeBot da Anthropic, no seu pico de junho de 2025, rastreava cerca de 70.900 páginas por cada visitante que referia de volta — uma assimetria que reformula o acesso de treino como uma extração de valor unilateral.^[5]

Mas há uma armadilha que impede que «basta bloquear os bots de treino» seja gratuito, e é a nuance mais importante de todo este artigo. O bloqueio tem efeitos secundários nas citações. A análise da AuthorityTech de 2026 concluiu que os sites que bloqueiam o Google-Extended têm muito menos probabilidade de serem citados pelos motores generativos — mesmo nos AI Overviews, onde o Google tecnicamente mantém o acesso ao conteúdo através do índice normal.^[11] E os dados da ppc.land mostram que o bloqueio é poroso também na outra direção: bloquear rastreadores de IA não trava de forma fiável as citações, porque os motores recorrem a caminhos alternativos, citações de terceiros e cópias em cache.^[10] Pode perder o benefício de visibilidade sem ganhar plenamente a privacidade pela qual bloqueou.

Do outro lado da balança está o dano de tráfego que empurra as pessoas a bloquear em primeiro lugar. Os AI Overviews do Google cortaram mensuravelmente o tráfego de referência: a Digital Content Next relata quedas de tráfego de 1–25% para os membros, com média à volta dos 25%, e as taxas de cliques caem entre 34,5% e 79% quando surge um AI Overview, consoante o tipo de consulta.^[8] Os editores inquiridos pela ppc.land esperam uma queda adicional de tráfego de 43% nos próximos três anos.^[10] Quando a IA lhe tira tráfego e ao mesmo tempo o rastreia 70.000 para 1, a vontade de levantar a ponte levadiça é compreensível.

Durante dois anos, a pergunta mais feita sobre rastreadores de IA foi alguma versão de: «Como apareço na busca normal do Google mas não nos AI Overviews?». Até junho de 2026, a resposta honesta era «não pode». O Google-Extended — o token a que a maioria recorria — só controla se o Google treina o Gemini e o Vertex AI com as suas páginas já rastreadas. Nunca controlou os AI Overviews nem o AI Mode, que recorrem ao índice padrão do Googlebot. Bloquear o Google-Extended não fazia nada para o manter fora dos resumos de IA que de facto comiam os seus cliques.^[8]

Isso mudou a 3 de junho de 2026, quando o Google lançou um relatório de desempenho de IA na Search Console juntamente com um botão de opt-out que permite aos editores retirar conteúdo dos AI Overviews e do AI Mode sem perder o ranking de busca padrão.^[6] A definição entra em vigor a 17 de junho de 2026, quando o Google começa a agir sobre o sinal, e ativá-la não afeta a sua posição nos resultados normais do Google.^[7] Duas ressalvas a reler duas vezes: a app Gemini fica excluída deste opt-out (é um produto separado), e optar por sair significa aceitar que desaparece também a citação/visibilidade que obtinha dos AIO.

Não há uma única configuração correta — há uma configuração correta para o seu objetivo. Eis os três perfis que cobrem quase todos os sites pequenos, de «quero estar em cada resposta» a «mantém-me fora da IA por completo».

Para a maioria dos sites pequenos, a recomendação honesta é o Perfil 1 — permitir tudo. O seu objetivo é a visibilidade, o custo de largura de banda do rastreio de IA é trivial em pequena escala, e bloquear os rastreadores de treino acarreta efeitos secundários nas citações que não pode prever totalmente. O perfil «bloquear o treino, manter as citações» (Perfil 2) é a predefinição certa para negócios de conteúdo, editores e quem publique investigação original e recuse genuinamente a extração unilateral. O Perfil 3 é só para conteúdo pago, de subscrição ou juridicamente sensível.

Regras escritas às escuras são palpites. Dedique vinte minutos a ver quem o rastreia de facto antes de mudar uma única linha, porque o panorama de bots varia enormemente por nicho. Eis a pilha de monitorização prática, da mais barata em diante:

• Logs de acesso do servidor / CDN. Filtre por user-agent para GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot e Bytespider. Isto diz-lhe a frequência e que páginas cada bot toca. Nota: o Google-Extended nunca aparecerá — é um token, não um pedido.
• Cloudflare Radar AI Insights. Se estiver atrás da Cloudflare, o painel gratuito AI Insights mostra a atividade de rastreadores de IA e os dados crawl-to-referral citados neste artigo.
• Google Search Console. O novo relatório de desempenho de IA (junho de 2026) é onde verá as impressões de AI Overviews / AI Mode — e onde vive o botão de opt-out.
• Verifique a autenticidade. Os user-agents falsificados são comuns. Cruze os acessos suspeitos com os intervalos de IP publicados — a OpenAI lista-os em openai.com/gptbot.json, openai.com/searchbot.json e openai.com/chatgpt-user.json.

→ Faça-o agora: Abra https://o-seu-dominio.com/robots.txt num navegador. Se não mencionar o OAI-SearchBot nem o Claude-SearchBot, está desatualizado — e pode estar invisível para os próprios produtos de busca de IA que os seus clientes usam. Escolha um perfil da tabela acima, cole a configuração correspondente, e terá feito mais higiene de rastreadores do que a esmagadora maioria dos sites pequenos em 2026.