Ferramenta web / 05
AI Crawler Checker
Traduza as regras de robots.txt de um site em um relatório de políticas legível para crawlers de IA conhecidos.
AI Crawler Checker: TOEA avalia as regras de robots.txt para um grupo selecionado de crawlers de IA, de busca e de conjuntos de dados com nome conhecido, e mostra a regra correspondente mais específica. Processado com segurança sob demanda.
- Categoria
- Ferramentas web
- Execuções
- No servidor da TOEA
- Custo
- Grátis · sem cadastro
- Disponibilidade
- Pronto para usar
Como usar
- Insira uma página do site que você quer inspecionar.
- Escolha “Check AI crawlers.”
- Revise a política correspondente e a regra de origem para cada crawler.
Privacidade e limitações
A URL do site é verificada pela API da TOEA e não é armazenada. Robots.txt é voluntário e nomes ou comportamentos de crawlers podem mudar; um resultado “allowed” não significa que um site esteja incluído em qualquer produto de IA.
Ferramentas relacionadas
Perguntas frequentes
“Allowed” significa que meu conteúdo é usado para IA?
Não. Só significa que as regras atuais de robots.txt não bloqueiam esse crawler indicado no caminho raiz.
O robots.txt pode impor uma política legal?
Robots.txt expressa preferências para crawlers; não é controle de acesso nem aconselhamento jurídico.
Bloquear o GPTBot mantém minhas páginas fora do ChatGPT?
Não totalmente. O GPTBot coleta dados de treinamento; os resultados de busca do ChatGPT vêm do OAI-SearchBot, e as páginas que um usuário pede para o ChatGPT abrir são buscadas pelo ChatGPT-User. Cada um tem seu próprio token.
Bloquear o Google-Extended prejudica meu ranking no Google Search?
Não. O Google-Extended apenas controla se o conteúdo que o Googlebot busca pode ser usado pelo Gemini; o Google diz que isso não afeta a inclusão nem o ranking na Search.
Quais crawlers isso verifica?
Dez tokens: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, CCBot, Bytespider e Amazonbot. A tabela abaixo indica para que serve cada um.
Ferramenta grátis · no servidor da toea execuções · não precisa de conta