Outil web / 05

AI Crawler Checker

Traduisez les règles robots.txt d’un site en un rapport de politique lisible pour les robots d’IA bien connus.

AI Crawler Checker: TOEA évalue les règles de robots.txt pour un ensemble sélectionné de robots d’IA, de recherche et de collecte de jeux de données identifiés par leur nom, et affiche la règle correspondante la plus spécifique. Traitement sécurisé à la demande.

Catégorie
Outils web
Exécutions
Sur le serveur de TOEA
Coût
Gratuit · sans inscription
Disponibilité
Prêt à l'emploi
Lecteur des politiques des crawlers IAVérification sans risque d'une URL publique

Explique les règles de robots.txt ; il ne peut pas garantir le comportement des crawlers ni l'inclusion par l'IA.

Comment l'utiliser

  1. Saisissez une page du site que vous souhaitez analyser.
  2. Choisissez « Vérifier les robots d’IA ».
  3. Consultez, pour chaque robot, la politique correspondante et la règle source.

Confidentialité et limitations

L’URL du site est vérifiée via l’API de TOEA et n’est pas stockée. Robots.txt est volontaire et les noms ou le comportement des robots peuvent changer ; un résultat « autorisé » ne signifie pas qu’un site est inclus dans un produit d’IA.

Outils associés

Vérificateur de robots.txtllms.txtVérificateur Noindex

Questions fréquentes

« Autorisé » signifie-t-il que mon contenu est utilisé pour l’IA ?

Non. Cela signifie uniquement que les règles robots.txt actuelles ne bloquent pas ce robot nommé à la racine du site.

Robots.txt peut-il faire respecter une politique juridique ?

Robots.txt exprime les préférences des robots ; ce n’est ni un mécanisme de contrôle d’accès ni un avis juridique.

Bloquer GPTBot empêchera-t-il mes pages d’apparaître dans ChatGPT ?

Pas complètement. GPTBot collecte des données d’entraînement ; les résultats de recherche de ChatGPT proviennent d’OAI-SearchBot, et les pages qu’un utilisateur demande à ChatGPT d’ouvrir sont récupérées par ChatGPT-User. Chacun possède son propre token.

Le blocage de Google-Extended nuit-il à mon classement dans Google Search ?

Non. Google-Extended ne contrôle que la possibilité d’utiliser dans Gemini le contenu récupéré par Googlebot ; Google indique que cela n’affecte ni l’inclusion ni le classement dans Google Search.

Quels robots sont pris en compte par cette vérification ?

Dix tokens : GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, CCBot, Bytespider et Amazonbot. Le tableau ci-dessous indique à quoi sert chacun.

Outil gratuit · sur le serveur de toea exécutions · aucun compte requis