SEO / Rastreamento

Gerador de robots.txt

Crie um arquivo robots.txt com regras para cada rastreador, linhas de sitemap e predefinições para permitir tudo, bloquear um site de staging ou bloquear rastreadores de treinamento de IA.

Gerador de robots.txt: O robots.txt informa aos rastreadores quais caminhos eles podem acessar, conforme a RFC 9309 padroniza: cada grupo define agentes de usuário e, em seguida, regras Disallow e Allow; vence a regra correspondente mais específica. A predefinição de treinamento de IA adiciona um grupo para GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot e meta-externalagent — os nomes documentados por seus operadores para recusar o uso em treinamento. O gerador avisa sobre caminhos sem uma barra inicial, URLs de sitemap relativas e regras que bloqueiam todos os rastreadores. Roda 100% localmente no seu navegador, sem enviar nenhum arquivo para o servidor.

Categoria
Ferramentas web
Execuções
No seu navegador
Custo
Grátis · sem cadastro
Disponibilidade
Pronto para usar
Gerador de robots.txtProcessamento local

Roda inteiramente no seu navegador

Grupo 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Coloque o arquivo na raiz do seu site, como em https://example.com/robots.txt. Ele pede que os rastreadores não acessem o site; não oculta nem protege nada, e o Google ignora Crawl-delay. Os nomes dos rastreadores de IA foram verificados em 2 October 2026; as empresas adicionam novos rastreadores, então consulte a documentação delas.

Erros comuns

Bloquear CSS e JavaScript impede que os mecanismos de busca renderizem as páginas corretamente; bloquear uma página que você quer remover impede que os rastreadores vejam a tag noindex; deixar Disallow: / do site de homologação após o lançamento oculta o site inteiro. Verifique o arquivo em produção após cada implantação.

Para testar um arquivo existente, use o verificador de robots.txt; para verificar o sitemap indicado por ele, use o verificador de sitemap.

Caracteres curinga

Google e Bing aceitam * para representar quaisquer caracteres e $ para indicar o fim da URL: Disallow: /*.pdf$ bloqueia todos os arquivos PDF. A regra correspondente mais longa vence; portanto, Allow: /shop/sale/ substitui Disallow: /shop/.

Como usar

  1. Comece com uma predefinição ou edite os grupos de agentes de usuário e caminhos.
  2. Adicione as URLs dos seus sitemaps.
  3. Copie ou baixe o robots.txt e coloque-o na raiz do seu site.

Privacidade e limitações

O arquivo é gerado no seu navegador.

Ferramentas relacionadas

Verificador de robots.txtSitemapMeta TagsGerador de CSP

Perguntas frequentes

O robots.txt bloqueia páginas da pesquisa do Google?

Ele interrompe o rastreamento, não a indexação: uma página bloqueada ainda pode aparecer nos resultados se outros sites tiverem links para ela. Para manter uma página fora da pesquisa, permita o rastreamento e adicione uma tag meta noindex.

Bloquear rastreadores de IA removerá meu conteúdo das ferramentas de IA?

Isso pede que esses rastreadores não coletem suas páginas daqui em diante; não remove nada que já tenha sido coletado, e somente os rastreadores que respeitam o robots.txt cumprirão essa solicitação.

O Crawl-delay funciona?

O Bing e alguns outros rastreadores respeitam essa diretiva; o Google a ignora e ajusta automaticamente a taxa de rastreamento.

Ferramenta grátis · no seu navegador execuções · não precisa de conta