O lançamento das AI Crawler Rules pela Cloudflare é uma ferramenta que permite a sites gerenciarem quais bots de inteligência artificial podem rastrear seu conteúdo — mas, se mal configurada, bloqueia inadvertidamente o Googlebot, comprometendo a indexação tradicional e, por consequência, a possibilidade de ser citado por answer engines como ChatGPT, Perplexity e Google AI Overviews. Para marcas que investem em AEO (Answer Engine Optimization), o erro configura um risco direto de desaparecer das respostas geradas por IA.

A Cloudflare anunciou no início de julho de 2026 a funcionalidade AI Crawler Rules, disponível para todos os planos, com o objetivo de dar aos administradores de sites controle granular sobre crawlers de IA — como GPTBot, Claude-Web, PerplexityBot e outros. A novidade chega em um momento em que o tráfego de bots de IA cresce exponencialmente, consumindo banda e recursos. Paralelamente, o Google encerrou o cache de páginas AMP (Accelerated Mobile Pages), e o Search Console corrigiu seu relatório de indexação, sinalizando que a era dos crawlers de IA está redefinindo as regras do jogo. O problema? Muitos administradores, ao ativar um bloqueio genérico de "crawlers de IA", acabam incluindo o Googlebot na lista negra — e o Googlebot não é apenas um crawler de IA, mas o motor de indexação que alimenta o Google Search e, cada vez mais, as respostas do Google AI.

O que são as AI Crawler Rules e por que afetam o Googlebot

As AI Crawler Rules da Cloudflare são regras no nível de firewall (WAF) que permitem bloquear, desafiar ou permitir bots de IA com base em listas pré-definidas de user agents. A interface oferece um toggle "Block all AI crawlers" que, quando ativado, adiciona regras para dezenas de bots — incluindo GPTBot, CCBot, Claude-Web, PerplexityBot, e também o Googlebot-Extended (o crawler específico para treinamento de IA do Google). O problema é que, por padrão, algumas configurações podem interpretar o Googlebot comum (Googlebot/2.1) como parte do grupo "AI crawlers", especialmente quando o site utiliza regras de bloqueio baseadas em padrões genéricos de user agent.

O Googlebot não é apenas um crawler de indexação tradicional. Ele é o mesmo bot que coleta dados para o Google Search, para o Google AI Overviews e para o Google Gemini. Bloquear o Googlebot significa que seu site pode sumir dos resultados de busca orgânica e, pior, das respostas geradas por IA do Google. A confusão é agravada pelo fato de que o Googlebot tem múltiplos user agents: o comum (Googlebot/2.1), o de imagens (Googlebot-Image), o de vídeos (Googlebot-Video) e o específico para IA (Googlebot-Extended). A Cloudflare, em sua documentação, alerta que a regra "Block all AI crawlers" não afeta o Googlebot padrão, mas relatos de administradores indicam que, em sites com configurações de segurança mais restritivas (como Challenge Passage ou WAF customizado), o Googlebot pode ser bloqueado indiretamente.

A correção do relatório de indexação no GSC e o fim do AMP cache

O Google Search Console corrigiu recentemente seu relatório de indexação, que passou a mostrar com mais precisão quais páginas estão sendo bloqueadas por robots.txt ou por regras de servidor. Isso significa que, se você bloqueou o Googlebot por engano, o GSC vai exibir um aumento de erros de "Bloqueado por robots.txt" ou "Rastreado, mas não indexado". A correção é oportuna: muitos sites que ativaram as AI Crawler Rules da Cloudflare estão vendo quedas repentinas de tráfego orgânico, sem entender a causa.

Paralelamente, o Google encerrou o cache de páginas AMP servidas em cache (o Google AMP Cache), que era usado para acelerar a entrega de conteúdo em dispositivos móveis. Embora o AMP continue existindo como framework, a remoção do cache próprio do Google significa que a indexação de páginas AMP agora depende exclusivamente do Googlebot tradicional. Se o Googlebot estiver bloqueado, suas páginas AMP — que muitas vezes são as mais citadas em respostas de IA — simplesmente desaparecem.

Implicação direta para AEO: visibilidade em answer engines

Para marcas que buscam ser citadas por ChatGPT, Perplexity, Google AI Overviews e Bing Copilot, o bloqueio acidental do Googlebot é catastrófico. As answer engines dependem de crawlers para indexar conteúdo e gerar respostas. O Google AI Overviews, por exemplo, usa o Googlebot para rastrear páginas e depois as processa com modelos de linguagem. Se o Googlebot não acessa seu site, você não aparece nas respostas do Google. O mesmo vale para o Perplexity, que usa seu próprio PerplexityBot — e que pode ser bloqueado pelas AI Crawler Rules se você ativar o bloqueio geral.

O cenário ideal para AEO é permitir que todos os crawlers de IA acessem seu conteúdo, desde que respeitem as regras de robots.txt e taxa de rastreamento. Bloquear indiscriminadamente é um tiro no pé. A Cloudflare oferece a opção de criar regras específicas para cada bot, permitindo, por exemplo, bloquear o GPTBot (que coleta dados para treinar modelos) mas liberar o Googlebot e o PerplexityBot. A chave é não usar o toggle genérico "Block all AI crawlers" sem antes verificar quais user agents estão incluídos.

O que sua marca deve fazer

  1. Acesse o Cloudflare e verifique as AI Crawler Rules ativas. Vá em Security > Bot Management > AI Crawler Rules. Se a opção "Block all AI crawlers" estiver ativada, desative-a imediatamente. Crie regras individuais para bloquear apenas bots que você não deseja (ex.: GPTBot, CCBot) e libere explicitamente Googlebot, Googlebot-Extended, PerplexityBot e Bingbot.

  2. Teste o robots.txt e as regras de WAF. No Cloudflare, vá em Rules > Transform Rules e verifique se há regras de bloqueio por user agent que possam afetar o Googlebot. Use a ferramenta de teste de rastreamento do Google Search Console (Configurações > Rastreamento > Testar robots.txt) para simular o acesso do Googlebot às suas páginas principais.

  3. Monitore o relatório de indexação no GSC. Após ajustar as regras, acompanhe o relatório de "Páginas" no Search Console por pelo menos 7 dias. Se o número de erros "Bloqueado por robots.txt" ou "Rastreado, mas não indexado" diminuir, o bloqueio foi resolvido. Se persistir, verifique se há regras de firewall no Cloudflare que estejam desafiando o Googlebot com CAPTCHA ou challenge.

  4. Crie uma regra de exceção explícita para o Googlebot. No Cloudflare, vá em Security > WAF > Custom Rules e adicione uma regra: se o user agent contiver "Googlebot", aplicar ação "Allow". Isso garante que, mesmo com bloqueios gerais de IA, o Googlebot passe ileso.

  5. Revise sua estratégia de AEO para múltiplos crawlers. Não foque apenas no Googlebot. O PerplexityBot, o Claude-Web e o Bingbot também são cruciais para citações em answer engines. Use a ferramenta de logs do Cloudflare para ver quais bots estão sendo bloqueados e ajuste as regras para permitir todos os crawlers de IA que você deseja rankear.

Perguntas frequentes

As AI Crawler Rules da Cloudflare bloqueiam o Googlebot automaticamente?

Não por padrão. A Cloudflare afirma que a regra "Block all AI crawlers" não inclui o Googlebot comum. No entanto, em configurações mais restritivas (como WAF customizado ou regras de challenge), o Googlebot pode ser bloqueado indiretamente. Sempre verifique manualmente.

Como saber se meu site está bloqueando o Googlebot por causa das AI Crawler Rules?

Acesse o Google Search Console, vá em "Páginas" e filtre por "Bloqueado por robots.txt". Se houver um aumento repentino desses erros após ativar as AI Crawler Rules, é provável que o Googlebot esteja sendo bloqueado. Use também a ferramenta de teste de robots.txt no GSC.

Devo bloquear todos os crawlers de IA para economizar banda?

Não, se você quer ser citado por answer engines. Bloquear todos os crawlers de IA impede que seu conteúdo seja indexado por ChatGPT, Perplexity e Google AI Overviews. Em vez disso, bloqueie apenas bots que você sabe que não geram valor (como alguns crawlers de treinamento de modelos) e libere explicitamente os bots de busca e IA que você deseja rankear.

O fim do AMP cache do Google afeta a indexação de IA?

Sim, indiretamente. Com o fim do Google AMP Cache, a indexação de páginas AMP depende exclusivamente do Googlebot. Se o Googlebot estiver bloqueado, suas páginas AMP não serão indexadas nem citadas em respostas de IA. Mantenha o Googlebot liberado.

Como criar uma regra no Cloudflare que permita o Googlebot mesmo com bloqueio geral de IA?

Vá em Security > WAF > Custom Rules, clique em "Create rule", defina o campo "Field" como "User Agent", "Operator" como "contains", "Value" como "Googlebot", e "Action" como "Allow". Coloque essa regra antes de qualquer regra de bloqueio geral para garantir que o Googlebot seja sempre permitido.

Se sua marca depende de visibilidade em respostas de IA, não subestime o impacto de uma configuração errada no Cloudflare. Uma auditoria de visibilidade em IAs — como a que oferecemos no aeobr.com.br — pode identificar exatamente quais crawlers estão sendo bloqueados e ajustar sua estratégia de AEO para maximizar o Share of Voice nas answer engines. O momento de revisar suas regras é agora, antes que o Googlebot bata na porta e não encontre seu conteúdo.