Quando o Google ignora o seu robots.txt (e por que isso derruba seu SEO)

O Google ignora o seu robots.txt em situações específicas e bem documentadas: quando o arquivo responde com erro 4xx, quando existe um bloco user-agent: Googlebot mais específico, quando a diretiva usada não é uma das quatro suportadas, e quando o arquivo passa de 500 KiB. Em vários desses casos o resultado é o mesmo: o Googlebot rastreia tudo, como se o arquivo não existisse.

Pontos-chave

• O Google suporta apenas 4 campos no robots.txt: user-agent, allow, disallow e sitemap. Todo o resto é ignorado em silêncio, sem aviso no Search Console.
• Erro 4xx no robots.txt libera o rastreamento inteiro. O Google trata todos os 4xx (menos o 429) como se o arquivo não existisse.
• Um bloco user-agent: Googlebot anula o user-agent: *. O Google lê só o grupo mais específico — as regras gerais são descartadas, não somadas.
• Erro 5xx e 429 seguem outro caminho: o Google para de rastrear por 12 horas, usa a última versão boa por 30 dias e, depois disso, passa a agir como se não houvesse robots.txt.
• noindex no robots.txt não funciona — está na lista de campos não suportados desde sempre. Quem bloqueia por ali e espera desindexação faz o oposto do que queria.
• Em abril de 2026 o Google ampliou a lista pública de diretivas não suportadas, incluindo content-signal, content-usage, request-rate, revisit-after, visit-time e domain.

O que o Google disse, e onde

O tema voltou à pauta em julho de 2026, quando John Mueller, da equipe de Search Relations do Google, respondeu no Reddit a um site que não entendia por que suas regras estavam sendo ignoradas. A explicação dele foi direta: "Com robots.txt, as regras mais específicas vencem. Então, se você tem uma seção user-agent: Googlebot, ele vai usar somente aquela seção."

Não é uma mudança de comportamento — é como o protocolo sempre funcionou, e está na documentação oficial de como o Google interpreta o robots.txt. O que mudou foi a quantidade de gente tropeçando nisso, agora que muitos sites adicionaram blocos específicos para bots de IA e acabaram quebrando as regras que já tinham.

Os 5 casos em que o Google ignora o seu robots.txt

1. O arquivo responde com erro 4xx

Se o /robots.txt devolve 404, 401, 403 ou qualquer outro 4xx (com exceção do 429), o Google assume que não há restrição nenhuma e rastreia o site inteiro. A lógica é simples: o servidor disse que o documento não existe, então não há regra a respeitar.

Isso pega muita gente de surpresa em dois cenários: staging protegido por senha que devolve 401 no robots.txt, e sites que bloqueiam o arquivo por engano em regra de firewall. A documentação do Google é explícita ao alertar: não use os códigos 401 e 403 para limitar a taxa de rastreamento — o efeito é exatamente o contrário do pretendido.

2. Existe um grupo de user-agent mais específico

Esse é o caso do alerta de Mueller e o mais perigoso, porque o arquivo parece correto. O Google escolhe um único grupo de regras: o do user-agent mais específico que corresponde ao crawler. Os grupos não se acumulam.

Na prática, um arquivo assim:

User-agent: *
Disallow: /admin/
Disallow: /carrinho/
Disallow: /busca/

User-agent: Googlebot
Disallow: /rascunhos/

faz o Googlebot respeitar apenas /rascunhos/. As três regras do bloco genérico são descartadas, e /admin/, /carrinho/ e /busca/ ficam liberados para rastreamento. A correção é repetir as regras dentro do bloco específico, ou agrupar os user-agents que compartilham as mesmas regras:

User-agent: *
User-agent: Googlebot
Disallow: /admin/
Disallow: /carrinho/
Disallow: /busca/
Disallow: /rascunhos/

3. A diretiva não é uma das quatro suportadas

O Google suporta user-agent, allow, disallow e sitemap. Nada além disso. Qualquer outra linha é ignorada sem erro, sem aviso e sem registro no Search Console — o arquivo continua "válido", só que a regra não faz nada.

Em abril de 2026 o Google ampliou a lista pública de campos não suportados, acrescentando content-signal, content-usage, domain, request-rate, revisit-after e visit-time aos que já estavam documentados: crawl-delay, noindex, nofollow, noarchive, host e clean-param. A escolha desses seis não foi aleatória: o Google identificou, via HTTP Archive, que eram os mais usados na prática. Ou seja, é uma lista dos erros mais comuns.

Dois merecem destaque:

• crawl-delay — não funciona no Google. Para controlar taxa de rastreamento, o caminho é o Search Console, não o robots.txt.
• noindex — nunca funcionou no robots.txt. Para tirar uma página do índice, use a meta tag robots no HTML ou o cabeçalho X-Robots-Tag.

4. O arquivo passa de 500 KiB

O Google impõe um limite de 500 kibibytes ao robots.txt. Tudo que vier depois desse ponto é simplesmente ignorado. É raro estourar isso, mas acontece em e-commerce que gera regra por parâmetro de URL ou por SKU — e o efeito é silencioso: as últimas regras do arquivo, justamente as mais recentes, param de valer.

5. A linha é inválida (inclusive o BOM)

Linhas malformadas são descartadas e o Google segue com as válidas. O caso mais traiçoeiro é o Byte Order Mark (BOM) — aqueles bytes invisíveis que alguns editores do Windows inserem no início de arquivos UTF-8. O Google ignora o BOM especificamente, mas outros crawlers podem engasgar na primeira linha por causa dele. Salve o arquivo como UTF-8 sem BOM.

E quando o servidor cai: 5xx e 429

Erros de servidor seguem um caminho próprio, em três fases:

Período	Comportamento do Google
Primeiras 12 horas	Para de rastrear o site, mas continua tentando buscar o robots.txt.
Dias 1 a 30	Usa a última versão boa em cache enquanto tenta buscar uma nova.
Após 30 dias	Se o site está no ar normalmente, passa a agir como se não houvesse robots.txt. Se o site também está fora, para de rastrear.

Vale corrigir um mal-entendido comum: a documentação não diz que o 5xx vira 404 depois de 30 dias. Ela diz que o Google passa a se comportar como se o arquivo não existisse — e continua checando por uma versão nova. A diferença importa na hora de diagnosticar.

O 429 (Too Many Requests) é a exceção dentro da faixa 4xx: em vez de liberar o rastreamento, ele entra nesse mesmo fluxo de erro de servidor.

Como o Google resolve conflito entre allow e disallow

Dentro do grupo escolhido, o Google não lê as regras de cima para baixo. Ele aplica a regra de caminho mais longo. Em caso de empate no comprimento, vence a menos restritiva — ou seja, o allow.

User-agent: *
Disallow: /blog/
Allow: /blog/publicos/

Aqui /blog/publicos/artigo/ é rastreável, porque /blog/publicos/ (16 caracteres) é mais específico que /blog/ (6). A ordem das linhas no arquivo é irrelevante.

O erro conceitual que está por trás de quase tudo isso

Bloquear no robots.txt não tira a página do Google. As duas coisas são independentes: o robots.txt controla rastreamento, a meta tag robots controla indexação.

Pior: as duas juntas se anulam. Se você bloqueia uma URL no robots.txt, o Googlebot não consegue nem baixar a página — logo, nunca lê a meta tag noindex que está dentro dela. A URL pode continuar aparecendo na busca, sem descrição, com aquele aviso de que não há informação disponível.

A regra prática: para tirar do índice, deixe rastreável e use noindex. Para economizar crawl budget em área sem valor de busca, aí sim use o robots.txt. Se quiser se aprofundar, veja o que é indexação do Google e como funciona e como saber se seu site está indexado.

Checklist: audite seu robots.txt em 6 passos

1. Abra seusite.com.br/robots.txt numa aba anônima e confirme que retorna 200, não 401, 403 ou 404.
2. Procure blocos duplicados de user-agent. Se existe um Googlebot específico, ele precisa conter todas as regras que você quer aplicar — as do * não valem para ele.
3. Elimine diretivas que não fazem nada: crawl-delay, noindex, nofollow, host, request-rate, revisit-after, visit-time.
4. Confira o tamanho do arquivo — se passar de 500 KiB, consolide regras com curingas.
5. Salve como UTF-8 sem BOM e confirme que não há caracteres invisíveis na primeira linha.
6. Teste no Search Console, em Configurações → robots.txt, e valide URLs específicas na Inspeção de URL.

Esse checklist entra no nosso check-list de SEO completo, junto com as demais verificações técnicas.

Perguntas frequentes

O Google avisa quando ignora uma regra do meu robots.txt?

Não. Diretivas não suportadas são descartadas em silêncio, sem erro de sintaxe e sem alerta no Search Console. O arquivo continua sendo considerado válido. Por isso a auditoria manual é necessária: nada no painel vai apontar que a sua linha de crawl-delay nunca teve efeito algum.

Se meu robots.txt der 404, o Google rastreia tudo?

Sim. O Google trata todos os erros 4xx, com exceção do 429, como se o arquivo não existisse — e portanto sem nenhuma restrição de rastreamento. É por isso que um robots.txt quebrado é mais perigoso do que um robots.txt ausente por decisão: você acha que está bloqueando algo e não está.

Por que minhas regras de user-agent asterisco pararam de valer?

Provavelmente porque alguém adicionou um bloco específico para o Googlebot. O Google usa apenas o grupo mais específico que corresponde ao crawler, e os grupos não se somam. Copie as regras gerais para dentro do bloco específico, ou liste os user-agents juntos acima do mesmo conjunto de regras.

Como faço para tirar uma página do Google de verdade?

Use a meta tag <meta name="robots" content="noindex"> no HTML da página ou o cabeçalho HTTP X-Robots-Tag: noindex, e garanta que a URL não esteja bloqueada no robots.txt — o Googlebot precisa conseguir acessar a página para ler a instrução. Para remoção urgente, use a ferramenta de Remoções do Search Console, que age em cerca de 24 horas mas é temporária.

O crawl-delay funciona no Google?

Não, e nunca funcionou. O Google define a taxa de rastreamento pela capacidade de resposta do seu servidor. Se precisa reduzir o ritmo, o caminho é o relatório de estatísticas de rastreamento no Search Console e, principalmente, melhorar o tempo de resposta do servidor.

Devo bloquear bots de IA no robots.txt?

É uma decisão de negócio, não técnica. Bloquear GPTBot, ClaudeBot ou PerplexityBot protege seu conteúdo de treinamento, mas também reduz sua chance de ser citado nas respostas geradas por IA — uma fonte de tráfego que só cresce. Antes de decidir, veja como aparecer no ChatGPT e nos AI Overviews. E atenção: foi exatamente ao adicionar esses blocos que muitos sites quebraram suas regras de Googlebot sem perceber.

Fontes

• Google for Developers — How Google Interprets the robots.txt Specification (documentação oficial: códigos de status, campos suportados, limite de 500 KiB, precedência de regras).
• Search Engine Journal — Google Says Why It May Ignore Robots.txt (julho de 2026, declaração de John Mueller no Reddit sobre especificidade de user-agent).
• Search Engine Journal — Google May Expand Unsupported Robots.txt Rules List (ampliação da lista de diretivas não suportadas, abril de 2026).

Auditoria técnica de SEO com a ciaweb

Robots.txt mal configurado costuma ser sintoma, não causa. Quando ele está errado, quase sempre há indexação duplicada, canonical apontando para o lugar errado e crawl budget sendo queimado em página que não gera negócio. A ciaweb faz SEO técnico com auditoria completa de rastreamento e indexação, e otimização de sites ponta a ponta. Se preferir começar sozinho, nossas ferramentas de SEO gratuitas ajudam no diagnóstico inicial.