Seu robots.txt virou estratégia de distribuição

Só 8,11% dos sites bloqueiam o GPTBot por completo no robots.txt. O número que se mexeu no último ano não foi o bloqueio — foi a liberação explícita, que triplicou de 2,51% para 7,69% dos arquivos. Enquanto isso, a Cloudflare começou a dar nota pros bots conforme eles obedecem (ou não) esse arquivo. Junte as duas coisas e o robots.txt deixa de ser um bilhete de boas maneiras e vira política de distribuição com fiscalização atrás — o que é um problema, porque quase ninguém escreveu o seu de propósito.

O que mudou esta semana

Em 16 de outubro de 2026 a Cloudflare anunciou responsabilização contínua para bots verificados: passar na verificação de identidade uma vez deixou de bastar pra continuar verificado. O sistema passa a observar o comportamento ao longo do tempo e pontuá-lo.

Dois sinais fazem a maior parte do trabalho:

• Consistência com o robots.txt — se o tráfego observado do bot bate com as preferências que o site publicou, julgado por padrões repetidos e não por violação isolada.
• Resposta ao HTTP 429 — quando o site responde "Too Many Requests", o crawler desacelera, pausa, ou segue no mesmo ritmo?

O resultado é uma faixa de confiança explicável, não um veredito permanente. A Cloudflare diz que vai publicar essas notas no Radar e deixar o cliente definir o próprio limiar pra tráfego de bot verificado. A cobertura independente enquadra igual: confiança vira contínua e revogável.

E já existe precedente de que isso tem dente. A Cloudflare removeu o bot da Perplexity da lista em 2025, depois que ele acessou recursos de sites que tinham optado por sair e em seguida tentou contornar os controles.

O dado que quase todo mundo lê ao contrário

A história corrente é que os publishers estão se fechando pra IA. O que foi medido diz outra coisa. De uma análise de 4.242 arquivos robots.txt amostrados na rede da Cloudflare em 28 de setembro de 2026:

Em doze meses, a fatia de bloqueio total do GPTBot mal se moveu — foi de 7,15% para 8,11%. O que de fato triplicou foram as diretivas Allow explícitas, de 2,51% para 7,69% dos arquivos lidos.

Duas conclusões seguem daí, e apontam pro mesmo lado:

1. Mais de 90% dos sites não bloqueiam nada. Não por decisão — por default. O robots.txt deles é boilerplate herdado, anterior a essa discussão.
2. Quem está sendo deliberado está majoritariamente entrando, não saindo. O movimento é na direção da permissão explícita, não da recusa.

E o propósito do crawl também está mudando por baixo: no Q3 de 2026, tráfego com finalidade de treino foi 47,62%, e busca mais ação do usuário somaram 11,92% — contra 6,51% no trimestre anterior. A fatia de rastreio feita pra responder uma pergunta agora, em vez de treinar, cresce rápido.

Bot de treino e bot de resposta não são a mesma troca

É essa distinção que transforma o robots.txt em questão de estratégia em vez de item de checklist.

Um crawler de treino leva seu conteúdo pra dentro de um modelo. Você não recebe atribuição, nem tráfego, nem um evento que dê pra medir. A troca é limpa: conteúdo sai, nada volta.

Um crawler de resposta busca sua página porque alguém perguntou algo agora, e seu conteúdo pode ser citado na resposta. Isso está mais perto de indicação do que de extração — e é o mecanismo por trás de toda conversa sobre "como ser citado por LLM".

Achatar os dois num Disallow: * é como um time bloqueia a própria distribuição acreditando que protegeu um ativo. O inverso é igualmente comum: deixar tudo aberto e chamar isso de estratégia.

O enquadramento honesto é que são trocas diferentes e merecem respostas diferentes. Se ser citado é como você é encontrado — e pra maioria das empresas B2B que publicam conteúdo técnico, cada vez mais é —, bloquear bot de resposta é autodano, e o trabalho de verdade é merecer a citação.

O que fazer na prática

1. Leia seu robots.txt hoje. Não metaforicamente. A maioria dos times nunca abriu o arquivo, e é provável que ele tenha sido gerado por um framework ou plugin anos atrás.
2. Decida os dois casos separadamente. Crawler de treino e de resposta são barganhas distintas. Escreva o arquivo dizendo o que você realmente pensa sobre cada uma.
3. Deixe o Allow explícito onde você quer ser encontrado. Silêncio já foi permissão. Com pontuação dos dois lados, explícito ganha de implícito — e o Allow explícito triplicou por um motivo.
4. Pare de limitar a taxa dos crawlers que você quer. Se você devolve 429 pra um bot de resposta de quem gostaria de receber citação, está ensinando ele a visitar menos. Rate limit agora é lido como preferência, e preferência agora é pontuada.
5. Acompanhe as faixas de confiança quando chegarem no Radar. Um crawler com faixa ruim é um que você bloqueia com evidência, não com suspeita.

É a mesma virada que a gente encontra levando produtos feitos com IA pra produção: os defaults que eram inofensivos enquanto ninguém fiscalizava viram o fator que decide o resultado assim que alguém começa a medir. E é irmã de um argumento que fizemos há pouco — toda ideia consolidada tem prazo de validade. Um robots.txt que ninguém lê desde 2019 é exatamente esse tipo de fóssil.

Principais conclusões

• A Cloudflare passa a pontuar bots verificados continuamente, por consistência com o robots.txt e por resposta ao HTTP 429, gerando uma faixa de confiança que pretende publicar no Radar.
• Só 8,11% dos sites bloqueiam o GPTBot por completo; ClaudeBot 6,91%; Google-Extended 5,94%. Mais de 90% não bloqueiam nada, na maior parte por default e não por decisão.
• A mudança real do ano foi o Allow explícito triplicar de 2,51% para 7,69% — publishers entrando de propósito, não se fechando.
• Crawler de treino e de resposta são trocas diferentes: um leva conteúdo sem devolver nada, o outro pode mandar citação. Um Disallow pros dois bloqueia a sua própria distribuição.
• Devolver 429 pra um crawler de quem você quer citação ensina ele a voltar menos.

FAQ

O robots.txt tem valor legal?

Não, e isso não mudou. O que mudou foi a fiscalização por intermediários: a Cloudflare agora mede se o bot verificado respeita o arquivo ao longo do tempo e pode revogar a verificação — como fez com o bot da Perplexity em 2025 —, o que torna o arquivo consequente sem torná-lo contrato.

A gente deve bloquear crawler de IA?

Separe os casos. Bloquear crawler de treino é uma troca defensável se o seu conteúdo é o produto. Bloquear crawler de resposta tira você da superfície onde as pessoas cada vez mais perguntam. A maioria dos times deveria ser deliberada no primeiro caso e permissiva no segundo.

Quantos sites realmente bloqueiam crawler de IA?

Pouquíssimos. Em 28 de setembro de 2026, entre 4.242 arquivos robots.txt lidos: 8,11% bloqueiam o GPTBot por completo, 6,91% o ClaudeBot e 5,94% o Google-Extended.

O que é uma "faixa de confiança explicável"?

É o resultado que a Cloudflare gera pra um bot verificado: um intervalo mostrando quão consistentemente ele respeita as preferências do site ao longo do tempo, em vez de um passa/não passa pontual. O plano declarado é publicar isso no Radar e deixar o cliente definir limiares.

Qual a menor ação útil?

Abrir o seu robots.txt e confirmar se ele diz o que você pretende sobre crawlers de IA. Pra maioria dos times é tarefa de dez minutos que nunca foi feita.

Fontes: Cloudflare — Continuous accountability for Verified bots · Runtimewire · Análise de robots.txt na rede da Cloudflare