Robots.txt: o que é, para que serve e como configurar do jeito certo

O site sai do ambiente de testes, vai ao ar com uma linha esquecida no robots.txt e, duas semanas depois, o tráfego orgânico some. Já vi esse filme em sites de portes bem diferentes. Um arquivo de texto de poucos bytes, que ninguém abriu para conferir.

O robots.txt é um arquivo de texto simples, publicado na raiz do domínio, que diz aos rastreadores, como o Googlebot, quais áreas do site eles podem ou não visitar. Quem pergunta o que é robots.txt costuma descobrir rápido que ele controla o rastreamento, não a indexação, e que funciona junto com o sitemap para orientar o robots.txt do Google sobre onde gastar tempo.

Neste guia eu explico a sintaxe linha por linha, mostro as diferenças entre robots.txt, noindex e canonical, trato de WordPress, e-commerce e bots de IA, e fecho com um passo a passo de criação e teste. Tudo com base em mais de 25 anos de SEO, desde o primeiro site que publiquei em 1997.

O que é robots.txt

Robots.txt é um arquivo de texto puro, sem HTML e sem código, que implementa o Protocolo de Exclusão de Robôs. Ele fica sempre no endereço seudominio.com.br/robots.txt e contém instruções do tipo “este robô pode entrar aqui, aquele não pode entrar ali”. É a primeira coisa que um rastreador bem-comportado procura ao chegar num site.

O protocolo existe desde 1994 e só foi padronizado oficialmente em 2022, na RFC 9309. Eu já estava publicando sites em 1997 e o robots.txt era convenção estabelecida. O que mudou desde então não foi a ideia, foi a quantidade de robôs batendo à porta: buscadores, ferramentas de SEO, agregadores e, agora, rastreadores de inteligência artificial.

Um ponto que muita gente erra logo de cara: o robots.txt é um pedido, não uma trava. Rastreadores sérios, como o Googlebot, respeitam. Robôs maliciosos ignoram. Por isso ele nunca deve ser usado para proteger informação sensível. Para isso existem senha, autenticação e controle de acesso no servidor.

Na prática, para que serve o robots.txt? Para quatro coisas: poupar o orçamento de rastreamento (veja o artigo sobre crawl budget), evitar que o Google perca tempo com URLs sem valor, apontar o caminho do sitemap e reduzir carga de servidor causada por robôs. Nada além disso.

Ação para hoje: abra seudominio.com.br/robots.txt no navegador. Se aparecer um erro 404, o site não tem o arquivo. Se aparecer Disallow: / logo abaixo de User-agent: *, pare tudo e leia a seção de erros mais adiante.

Como o robots.txt funciona: a sintaxe linha por linha

O arquivo é formado por grupos de regras. Cada grupo começa com um User-agent e traz uma ou mais linhas de Disallow ou Allow. A documentação do Google lista só quatro campos suportados: user-agent, allow, disallow e sitemap. Qualquer coisa fora disso é ignorada.

Quando um rastreador chega, ele baixa o arquivo, procura o grupo mais específico para o seu nome e obedece apenas a esse grupo. O resultado fica em cache por até 24 horas no Google, então uma correção não vale no mesmo minuto.

User-agent: quem recebe a regra

O User-agent identifica o robô. O asterisco vale para todos; o nome específico vale só para aquele rastreador. O robô do Google chama-se Googlebot, o do Bing, Bingbot.

User-agent: *
Disallow: /busca/

User-agent: Googlebot
Disallow: /teste/

Atenção a um detalhe que pega muita gente: se existe um grupo para o Googlebot, ele ignora o grupo do asterisco por completo. As regras não se somam. Você precisa repetir no grupo específico o que também quer manter bloqueado.

Disallow e allow: o que pode e o que não pode

O robots.txt disallow bloqueia um caminho; o Allow abre uma exceção dentro de uma área bloqueada. Uma linha Disallow: vazia não bloqueia nada. Já Disallow: / bloqueia o site inteiro, e é a linha mais perigosa que existe em SEO técnico.

Quando duas regras entram em conflito, o Google escolhe a mais específica, ou seja, a com o caminho mais longo. Em empate, vence a menos restritiva. Parece detalhe, mas é o que decide se aquele arquivo CSS dentro de uma pasta bloqueada será lido ou não.

Sitemap: apontando o caminho para o robô

A linha Sitemap: informa a URL completa do seu mapa do site. A relação entre sitemap e robots.txt é simples: um diz onde não ir, o outro diz onde ir. Você pode listar mais de um sitemap, e a linha vale para todos os robôs, independentemente do grupo em que estiver.

Sitemap: https://www.seudominio.com.br/sitemap_index.xml

Curingas: o asterisco e o cifrão

O Google aceita dois caracteres especiais. O asterisco representa qualquer sequência de caracteres; o cifrão marca o fim da URL. Com eles dá para bloquear parâmetros de filtro ou um tipo de arquivo sem listar URL por URL.

Disallow: /*?ordenar=
Disallow: /*.pdf$

O que o Google não lê: noindex, crawl-delay e arquivos gigantes

Desde setembro de 2019, o Google não obedece noindex escrito dentro do robots.txt. O campo crawl-delay também não é suportado por ele (o Bing o reconhece). E há um limite de tamanho: o Google lê no máximo 500 KiB; o que passar disso é descartado.

O código HTTP do arquivo também importa. Se ele devolver erro 4xx, o Google trata como se o arquivo não existisse e rastreia tudo. Se devolver 5xx, o rastreamento pausa por cerca de 12 horas e, depois, o Google usa a última cópia boa que tiver em cache por até 30 dias. Servidor instável derruba mais que regra mal escrita.

Robots.txt, noindex e canonical: qual usar em cada caso

Robots.txt controla se o robô pode visitar a URL. Noindex controla se a página pode aparecer no índice. Canonical sugere qual versão de uma página deve ser considerada a principal. São ferramentas diferentes, e misturá-las é a origem de metade dos problemas de indexação que encontro em auditorias.

Bloquear uma URL no robots.txt não a tira do Google. Se outras páginas apontam para ela, o Google pode indexar o endereço mesmo sem ter lido o conteúdo, e exibir um resultado sem descrição. Esse comportamento confunde muita gente que acha que robots.txt e Google funcionam como um botão de remover.

Recurso	O que controla	Onde fica	Quando usar
Robots.txt	Rastreamento (se o robô visita a URL)	Arquivo na raiz do domínio	Áreas sem valor para busca: filtros, carrinho, buscas internas
Meta noindex	Indexação (se a página entra no índice)	Tag no HTML da página	Páginas que o robô pode ler, mas que não devem aparecer no Google
X-Robots-Tag	Indexação, inclusive de arquivos que não são HTML	Cabeçalho HTTP do servidor	PDFs, imagens e outros arquivos que não aceitam meta tag
Canonical	Qual URL é a principal entre versões parecidas	Tag no HTML ou cabeçalho	Duplicatas, variações por parâmetro, versões de impressão

Por que bloquear no robots.txt e colocar noindex ao mesmo tempo dá errado

Se a URL está bloqueada no robots.txt, o Google nunca baixa a página. Sem baixar, ele não vê a tag noindex. A página fica indexada com o que o Google souber dela de fora, como links e âncoras. Para tirar uma página do índice, libere o rastreamento, mantenha o noindex e espere o robô voltar.

Como decidir em trinta segundos

Faça duas perguntas. A página deve aparecer no Google? Se não, use noindex e deixe rastrear. O problema é o Google gastar tempo demais em milhares de URLs parecidas? Aí sim, robots.txt. Se o problema é conteúdo duplicado entre páginas que precisam existir, canonical resolve.

Robots.txt para WordPress, e-commerce e bots de IA

O mesmo arquivo exige decisões diferentes conforme o tipo de site. Um blog pequeno quase não precisa de regras. Uma loja virtual com filtros e parâmetros precisa de várias. E, desde que os rastreadores de IA se multiplicaram, existe uma terceira camada de decisão.

Robots.txt no WordPress

O WordPress gera um robots.txt virtual automaticamente, mesmo sem arquivo físico. O padrão bloqueia a área administrativa e libera o endpoint usado por muitos plugins. Para configurar o robots.txt no WordPress, você pode editar pelo Yoast SEO (Ferramentas, Editor de arquivos) ou criar um arquivo físico via FTP.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.seudominio.com.br/sitemap_index.xml

Não bloqueie /wp-content/ nem /wp-includes/. Ali moram CSS, JavaScript e imagens que o Google precisa para renderizar a página. Já vi site perder visibilidade porque um plugin de segurança adicionou essa linha sem avisar. Mais detalhes no guia de SEO para WordPress.

Robots.txt em lojas virtuais

Em e-commerce, o robots.txt trabalha contra o desperdício de rastreamento. Filtros combinados, ordenação, sessões, carrinho e busca interna geram milhares de URLs que não deveriam competir no Google. Bloquear esses padrões libera o robô para categorias e produtos.

O cuidado aqui é cirúrgico. Bloquear um parâmetro que também aparece em páginas de categoria úteis esconde essas páginas. Teste cada regra com URLs reais antes de publicar. Se você tem uma loja, leia também o guia de SEO para e-commerce.

Robots.txt e bots de IA: bloquear ou não

Rastreadores de empresas de IA, como o GPTBot, da OpenAI, e o CCBot, do Common Crawl, também leem o robots.txt. O Google criou o token Google-Extended justamente para você controlar se o conteúdo do site é usado nos modelos Gemini, sem afetar a Busca. Segundo o Google, bloquear o Google-Extended não interfere no ranqueamento.

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Minha opinião, que não é consenso: bloquear tudo por reflexo é um erro para quem vive de visibilidade. Se o seu negócio depende de ser encontrado, ficar fora das respostas geradas por IA tem custo. Bloqueie quando o conteúdo é o produto, como acervos pagos ou dados proprietários. Para o resto, decida com número, não com medo.

E atenção: as respostas e os resumos de IA dentro da Busca do Google dependem do rastreamento e da indexação normais do Googlebot. Bloquear o Googlebot para sair de lá é derrubar a própria página dos resultados. Essa discussão faz parte do que chamo de otimização para busca generativa, e conversa com o conceito de SERP, que mudou bastante.

Como criar e testar o robots.txt na prática

O processo cabe em cinco passos. O que separa um arquivo seguro de um arquivo perigoso é o teste, não a escrita. Eu nunca publico alteração de robots.txt sem rodar as URLs mais importantes do site contra as regras novas.

Passo 1: mapeie o que realmente precisa ser bloqueado

Rastreie o site com Screaming Frog ou SEMrush e liste os padrões de URL que consomem rastreamento sem gerar busca: parâmetros de filtro, páginas de busca interna, URLs de sessão. Cruze com o Search Console para ver o que o Google já visita.

Passo 2: escreva as regras do menos ao mais específico

Comece pelo grupo User-agent: *, acrescente os Disallow necessários e as exceções com Allow. Finalize com a linha Sitemap. Comente o arquivo com # para que quem herdar o site entenda o motivo de cada regra.

Passo 3: publique na raiz do domínio

O arquivo precisa ficar em https://seudominio.com.br/robots.txt, com codificação UTF-8 e nome em minúsculas. Cada subdomínio exige o seu próprio arquivo. Um robots.txt dentro de uma subpasta não vale para nada.

Passo 4: teste no Search Console e no rastreador

O relatório de robots.txt do Search Console mostra qual versão o Google leu, quando e se houve erro. Para testar URLs, use a inspeção de URL: ela informa se a página está bloqueada. No Screaming Frog, dá para simular as novas regras antes de publicar. Meu guia de Google Search Console mostra onde ficam esses relatórios.

Passo 5: monitore e versione

Guarde cópias do arquivo com data. Configure um alerta para mudanças nele, porque deploy, plugin e migração costumam sobrescrever. Revise a cada auditoria técnica. Para ver como isso se encaixa num diagnóstico completo, leia sobre auditoria SEO.

Exemplo completo de robots.txt para um site institucional

Para um site de serviços com blog, o arquivo costuma ser curto. Este modelo serve de ponto de partida e deve ser adaptado ao seu caso. Ele bloqueia só o que não tem valor de busca, mantém o admin protegido, libera os recursos de renderização e aponta o sitemap.

# Regras para todos os rastreadores
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /busca/

# Mapa do site
Sitemap: https://www.seudominio.com.br/sitemap_index.xml

Perceba o que não está ali: nenhuma regra para bloquear tema, plugins ou imagens, nenhum noindex e nenhum bloqueio genérico de parâmetros. Menos regras significam menos chances de erro. Meu critério é simples: cada linha precisa ter um motivo que eu consiga explicar em uma frase.

Checklist final antes de publicar o arquivo

Antes de subir qualquer alteração, confirme cinco pontos. O arquivo responde com status 200. Não existe Disallow: / sem querer. As páginas que geram receita não caem em nenhuma regra. CSS e JavaScript continuam liberados. E a linha do sitemap aponta para uma URL que realmente existe e abre.

Depois da publicação, volte em dois ou três dias ao Search Console. Se aparecer aumento de URLs “bloqueadas pelo robots.txt” que você não esperava, reverta antes que o dano se espalhe. Revisão rápida custa minutos; recuperar posições perdidas leva semanas.

Erros de robots.txt que custam tráfego

Os erros que mais encontro não são sofisticados. São esquecimentos e cópias de modelo sem entender. A maioria se resolve em minutos, o que a torna ainda mais irritante quando custa semanas de tráfego.

Disallow: / esquecido depois da migração

Ambientes de teste costumam bloquear tudo, e esse arquivo vai junto para produção. Depois de qualquer lançamento ou migração, a primeira conferência é o robots.txt. Se o seu site sumiu do Google depois de uma reforma, comece por aí.

Bloquear CSS, JavaScript e imagens

O Google renderiza a página como um navegador. Se você bloqueia os recursos que montam o layout, ele enxerga uma versão quebrada. Isso afeta a avaliação de usabilidade e a compreensão do conteúdo. Libere os arquivos de estilo e script.

Usar noindex dentro do robots.txt

A linha Noindex: funcionava de modo não oficial e o Google parou de aceitá-la em 2019. Muito tutorial antigo ainda recomenda. Use a meta tag noindex ou o cabeçalho X-Robots-Tag.

Tentar esconder conteúdo sensível

O robots.txt é público. Qualquer pessoa pode abrir o arquivo e ler a lista de pastas que você pediu para não visitar, o que serve de mapa para quem procura justamente essas áreas. Proteja com autenticação.

Arquivo grande, mal codificado ou instável

Acima de 500 KiB, o Google ignora o excedente. Erros de codificação quebram linhas. Respostas 5xx intermitentes pausam o rastreamento. Mantenha o arquivo enxuto, em UTF-8, servido com status 200 e rápido.

Como diagnosticar uma queda causada pelo robots.txt

Quando o tráfego orgânico cai de repente, eu sigo sempre a mesma ordem. Primeiro abro o robots.txt atual e comparo com a versão anterior. Depois olho no Search Console o relatório de páginas, atrás de URLs que passaram a aparecer como bloqueadas. Por fim, rastreio o site e confiro se as páginas de maior receita continuam acessíveis.

Se a causa for o arquivo, corrija, publique e solicite nova leitura do robots.txt no Search Console. Lembre que o Google guarda o arquivo em cache por até 24 horas, então a recuperação não é imediata. Em casos de bloqueio total, o retorno das posições costuma levar dias ou semanas, conforme o tamanho do site e a frequência de rastreamento.

Se o arquivo estiver correto e a queda persistir, o problema é outro: pode ser atualização do algoritmo, perda de links, problema técnico ou mudança de intenção na SERP. Robots.txt é o suspeito mais barato de investigar, mas nem sempre é o culpado. Por isso insisto em olhar dados antes de culpar qualquer elemento.

Perguntas e respostas sobre robots.txt

O que é robots.txt e para que serve?

O robots.txt é um arquivo de texto na raiz do site que orienta rastreadores sobre quais áreas podem visitar. Ele serve para poupar o orçamento de rastreamento, evitar visitas a URLs sem valor para busca, indicar o endereço do sitemap e reduzir a carga causada por robôs. Ele controla rastreamento, não indexação, e funciona como pedido: robôs confiáveis respeitam, outros ignoram. Nunca o use como proteção de dados sensíveis.

Onde fica o arquivo robots.txt e como encontrar o do meu site?

O arquivo robots.txt fica sempre na raiz do domínio. Para ver o do seu site, digite o endereço do domínio seguido de /robots.txt no navegador. Cada subdomínio tem o seu próprio arquivo, e o de uma pasta interna não é lido. Se aparecer erro 404, o site não tem o arquivo. No WordPress, pode existir uma versão virtual gerada automaticamente, mesmo sem arquivo físico no servidor.

O robots.txt impede que uma página apareça no Google?

Não necessariamente. O robots.txt do Google impede o rastreamento, não a indexação. Se outros sites ou páginas apontam para a URL bloqueada, o Google pode indexar o endereço mesmo sem ler o conteúdo, mostrando um resultado sem descrição. Para tirar uma página do índice, deixe-a rastreável e use a meta tag noindex ou o cabeçalho X-Robots-Tag. Para segurança real, use senha.

Qual a diferença entre robots.txt e sitemap?

O sitemap lista as URLs que você quer que o Google conheça; o robots.txt define onde os robôs não devem entrar. Um sugere caminhos, o outro impõe limites de rastreamento. A relação entre sitemap e robots.txt é complementar: a linha Sitemap dentro do arquivo informa o endereço do mapa. Nunca inclua no sitemap URLs que você bloqueou, porque isso envia sinais contraditórios.

Como configurar o robots.txt no WordPress?

O robots.txt no WordPress pode ser editado pelo Yoast SEO, em Ferramentas e Editor de arquivos, ou por um arquivo físico enviado via FTP. Mantenha o bloqueio de /wp-admin/ com exceção para admin-ajax.php, adicione a linha do sitemap e não bloqueie /wp-content/ nem /wp-includes/. Depois de salvar, confira o resultado no endereço /robots.txt e no relatório do Search Console.

Como usar o disallow no robots.txt sem bloquear páginas importantes?

O disallow no robots.txt deve ser específico e testado. Antes de publicar, liste as URLs que a regra vai afetar com um rastreador como o Screaming Frog e confirme que nenhuma página com tráfego orgânico está entre elas. Prefira caminhos completos a padrões amplos, use Allow para exceções e valide URLs importantes depois do deploy. Uma barra solta, como Disallow: /, bloqueia o site inteiro.

Posso usar noindex dentro do robots.txt?

Não. O robots.txt não aceita noindex para o Google desde setembro de 2019. A linha é ignorada e a página continua elegível à indexação. O caminho correto é a meta tag robots com noindex no HTML ou o cabeçalho X-Robots-Tag, para arquivos como PDF. Lembre que a página precisa estar liberada para rastreamento, senão o Google não chega a ler a instrução.

O robots.txt bloqueia bots de IA como GPTBot?

O robots.txt pode orientar rastreadores de IA que o respeitam, como o GPTBot, basta criar um grupo com o nome do robô e Disallow. No Google, o token Google-Extended controla o uso do conteúdo em modelos Gemini sem afetar a Busca. Mas é um pedido, não uma barreira técnica, e cada empresa define o próprio comportamento. Avalie o impacto na visibilidade antes de bloquear.

Como testar se o robots.txt está funcionando?

O teste do robots.txt tem três camadas: abrir o arquivo no navegador e conferir se retorna status 200; consultar o relatório de robots.txt do Search Console, que mostra a versão lida e erros; e usar a inspeção de URL para ver se uma página específica está bloqueada. Rastreadores como o Screaming Frog também simulam regras novas antes da publicação.

Como a AgênciaSEO (Roberto Grozinski) ajuda com robots.txt?

Eu analiso o robots.txt dentro de auditorias e projetos de SEO técnico, pessoalmente, sem intermediários. Reviso as regras, cruzo com rastreamento e dados do Search Console, verifico bots de IA, sitemap e indexação, e entrego recomendações claras do que manter, mudar ou remover. São mais de 25 anos de SEO e mais de 1.000 palavras-chave posicionadas. Se quiser conversar sobre o seu site, é só falar comigo.

Veja também

• Crawl Budget: o que é e como otimizar para ranquear mais rápido
• SEO Técnico: guia completo para iniciantes e avançados
• Ferramentas de SEO: as melhores gratuitas e pagas

“Nos mais de 25 anos em que audito sites, o robots.txt é o arquivo menor e mais barato de conferir, e o que mais vezes explica uma queda que ninguém conseguia justificar. Abra o seu hoje, antes de qualquer outra coisa. — Roberto Grozinski, AgênciaSEO”