SEO / Crawling

robots.txt-Generator

Erstelle eine robots.txt mit Regeln für jeden Crawler, Sitemap-Zeilen und Voreinstellungen: alles erlauben, eine Staging-Website blockieren oder Crawler für KI-Training blockieren.

robots.txt-Generator: robots.txt teilt Crawlern mit, welche Pfade sie abrufen dürfen, wie es der RFC 9309 standardisiert: Jede Gruppe nennt User-Agents und anschließend Disallow- und Allow-Regeln. Dabei gewinnt die spezifischste passende Regel. Die Voreinstellung für KI-Training fügt eine Gruppe für GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot und meta-externalagent hinzu – die Namen, die ihre Betreiber für den Widerspruch gegen die Nutzung zum Training dokumentieren. Der Generator warnt vor Pfaden ohne führenden Schrägstrich, relativen Sitemap-URLs und Regeln, die alle Crawler blockieren. Läuft zu 100% lokal in deinem Browser, ohne Datei-Uploads zum Server.

Kategorie
Web‑Werkzeuge
Ausführungen
In deinem Browser
Kosten
Kostenlos · ohne Anmeldung
Verfügbarkeit
Einsatzbereit
robots.txt-GeneratorLokale Verarbeitung

Läuft vollständig in deinem Browser

Gruppe 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Lege die Datei im Stammverzeichnis deiner Website ab, zum Beispiel unter https://example.com/robots.txt. Sie fordert Crawler auf, draußen zu bleiben; sie verbirgt oder schützt nichts, und Google ignoriert Crawl-delay. Die Namen der KI-Crawler wurden am 2. Oktober 2026 überprüft. Unternehmen fügen neue hinzu, prüfe daher deren Dokumentation.

Häufige Fehler

Wenn du CSS und JavaScript blockierst, können Suchmaschinen Seiten nicht mehr richtig darstellen. Wenn du eine Seite blockierst, die entfernt werden soll, sehen Crawler ihr noindex-Tag nicht. Bleibt Disallow: / einer Staging-Website nach dem Start bestehen, wird die gesamte Website verborgen. Prüfe die Live-Datei nach jeder Bereitstellung.

Zum Testen einer vorhandenen Datei verwendest du den robots.txt-Prüfer, zum Prüfen der darin angegebenen Sitemap den Sitemap-Prüfer.

Platzhalter

Google und Bing unterstützen * für beliebige Zeichen und $ für das Ende der URL: Disallow: /*.pdf$ blockiert jedes PDF. Die längste passende Regel hat Vorrang. Deshalb setzt Allow: /shop/sale/ Disallow: /shop/ außer Kraft.

So benutzt du es

  1. Beginne mit einer Voreinstellung oder bearbeite die Gruppen von User-Agents und Pfaden.
  2. Füge deine Sitemap-URLs hinzu.
  3. Kopiere robots.txt oder lade die Datei herunter und lege sie im Stammverzeichnis deiner Website ab.

Datenschutz & Einschränkungen

Die Datei wird in deinem Browser erstellt.

Ähnliche Tools

Robots.txt-PrüferSitemapMeta-TagsCSP-Generator

Häufige Fragen

Blockiert robots.txt Seiten aus der Google-Suche?

Die Datei verhindert das Crawling, nicht die Indexierung: Eine blockierte Seite kann weiterhin in den Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken. Damit eine Seite nicht in der Suche erscheint, erlaube das Crawling und füge ein noindex-Meta-Tag hinzu.

Entfernt das Blockieren von KI-Crawlern meine Inhalte aus KI-Tools?

Damit bittest du diese Crawler, deine Seiten ab jetzt nicht mehr abzurufen. Bereits erfasste Inhalte werden dadurch nicht entfernt, und nur Crawler, die robots.txt beachten, halten sich daran.

Funktioniert Crawl-delay?

Bing und einige andere Crawler beachten die Einstellung; Google ignoriert sie und passt seine Crawling-Rate automatisch an.

Kostenloses Tool · läuft in deinem browser · kein Konto nötig