SEO / Exploration web

Générateur de robots.txt

Créez un fichier robots.txt avec des règles pour chaque robot d’exploration, des lignes de sitemap et des préréglages pour tout autoriser, bloquer un site de staging ou bloquer les robots d’entraînement IA.

Générateur de robots.txt: robots.txt indique aux robots d’exploration quels chemins ils peuvent récupérer, comme le standard RFC 9309 le définit : chaque groupe nomme des agents utilisateurs, puis des règles Disallow et Allow, la règle correspondante la plus spécifique étant prioritaire. Le préréglage d’entraînement IA ajoute un groupe pour GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot et meta-externalagent, les noms indiqués par leurs opérateurs pour refuser la collecte à des fins d’entraînement. Le générateur signale les chemins sans barre oblique initiale, les URL de sitemap relatives et les règles qui bloquent tous les robots d’exploration. Fonctionne 100 % localement dans votre navigateur, sans aucun téléversement de fichier vers le serveur.

Catégorie
Outils web
Exécutions
Dans votre navigateur
Coût
Gratuit · sans inscription
Disponibilité
Prêt à l'emploi
Générateur de robots.txtTraitement local

Fonctionne entièrement dans votre navigateur

Groupe 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Placez le fichier à la racine de votre site, par exemple à l’adresse https://example.com/robots.txt. Il demande aux robots d’exploration de rester à l’écart ; il ne masque et ne protège rien, et Google ignore Crawl-delay. Les noms des robots d’exploration de l’IA ont été vérifiés le 2 octobre 2026 ; les entreprises en ajoutent de nouveaux, consultez donc leur documentation.

Erreurs courantes

Bloquer les feuilles CSS et JavaScript empêche les moteurs de recherche d'afficher correctement les pages ; bloquer une page que vous souhaitez supprimer empêche les robots d'y voir sa balise noindex ; laisser Disallow: / sur un site de préproduction après sa mise en ligne masque l'ensemble du site. Vérifiez le fichier en ligne après chaque déploiement.

Pour tester un fichier existant, utilisez le vérificateur robots.txt ; pour vérifier le sitemap vers lequel il pointe, utilisez le vérificateur de sitemap.

Jokers

Google et Bing prennent en charge * pour représenter n'importe quels caractères et $ pour marquer la fin de l'URL : Disallow: /*.pdf$ bloque tous les PDF. La règle correspondante la plus longue est prioritaire ; ainsi, Allow: /shop/sale/ prend le pas sur Disallow: /shop/.

Comment l'utiliser

  1. Commencez avec un préréglage ou modifiez les groupes d’agents utilisateurs et les chemins.
  2. Ajoutez les URL de vos sitemaps.
  3. Copiez ou téléchargez robots.txt, puis placez-le à la racine de votre site.

Confidentialité et limitations

Le fichier est créé dans votre navigateur.

Outils associés

Vérificateur de robots.txtSitemapBalises metaGénérateur de CSP

Questions fréquentes

robots.txt bloque-t-il les pages dans les résultats Google ?

Il empêche l’exploration, mais pas l’indexation : une page bloquée peut quand même apparaître dans les résultats si d’autres sites y renvoient. Pour exclure une page des résultats, autorisez son exploration et ajoutez une balise meta noindex.

Le blocage des robots d’IA supprimera-t-il mon contenu des outils d’IA ?

Il demande à ces robots de ne plus collecter vos pages à l’avenir ; il ne supprime rien de ce qui a déjà été collecté, et seuls les robots qui respectent robots.txt s’y conformeront.

Crawl-delay fonctionne-t-il ?

Bing et certains autres robots d’exploration le respectent ; Google l’ignore et ajuste automatiquement sa fréquence d’exploration.

Outil gratuit · dans votre navigateur exécutions · aucun compte requis