SEO / Crawling

Generatore di robots.txt

Crea un file robots.txt con regole per ogni crawler, righe per le sitemap e preset per consentire tutto, bloccare un sito di staging o i crawler per l’addestramento dell’IA.

Generatore di robots.txt: robots.txt indica ai crawler quali percorsi possono recuperare, secondo quanto standardizzato da RFC 9309: ogni gruppo specifica gli user agent, seguiti dalle regole Disallow e Allow; vince la regola corrispondente più specifica. Il preset per l’addestramento dell’IA aggiunge un gruppo per GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot e meta-externalagent, i nomi indicati dai rispettivi operatori per rifiutare la raccolta a fini di addestramento. Il generatore segnala i percorsi privi di barra iniziale, gli URL relativi delle sitemap e le regole che bloccano ogni crawler. Funziona al 100% localmente nel browser, senza caricare file sul server.

Categoria
Strumenti Web
Esecuzioni
Nel browser
Costo
Gratuito · senza registrazione
Disponibilità
Pronto all'uso
Generatore di robots.txtElaborazione locale

Funziona interamente nel browser

Gruppo 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Inserisci il file nella directory principale del sito, ad esempio https://example.com/robots.txt. Chiede ai crawler di non accedere; non nasconde né protegge nulla e Google ignora Crawl-delay. I nomi dei crawler IA sono stati verificati il 2 October 2026; le aziende ne aggiungono di nuovi, quindi consulta la loro documentazione.

Errori comuni

Bloccare CSS e JavaScript impedisce ai motori di ricerca di visualizzare correttamente le pagine; bloccare una pagina che vuoi rimuovere impedisce ai crawler di vedere il suo tag noindex; lasciare Disallow: / del sito di staging dopo la pubblicazione nasconde l'intero sito. Controlla il file online dopo ogni distribuzione.

Per testare un file esistente, usa lo strumento di verifica robots.txt; per controllare la sitemap a cui rimanda, usa lo strumento di verifica della sitemap.

Caratteri jolly

Google e Bing supportano * per qualsiasi carattere e $ per indicare la fine dell'URL: Disallow: /*.pdf$ blocca ogni PDF. Vince la regola corrispondente più lunga, quindi Allow: /shop/sale/ prevale su Disallow: /shop/.

Come usarlo

  1. Parti da un preset oppure modifica i gruppi di user agent e i percorsi.
  2. Aggiungi gli URL delle sitemap.
  3. Copia o scarica robots.txt e inseriscilo nella radice del tuo sito.

Privacy e limitazioni

Il file viene creato nel tuo browser.

Strumenti correlati

Verifica robots.txtSitemapMeta tagGeneratore CSP

Domande frequenti

robots.txt blocca le pagine dalla ricerca Google?

Blocca il crawling, non l’indicizzazione: una pagina bloccata può comunque comparire nei risultati se altri siti la collegano. Per escludere una pagina dalla ricerca, consenti il crawling e aggiungi un meta tag noindex.

Bloccare i crawler dell’IA rimuoverà i miei contenuti dagli strumenti di IA?

Chiede a quei crawler di non raccogliere più le tue pagine da questo momento in poi; non rimuove ciò che è già stato raccolto e solo i crawler che rispettano robots.txt seguiranno questa indicazione.

Crawl-delay funziona?

Bing e alcuni altri crawler lo rispettano; Google lo ignora e adatta automaticamente la frequenza di crawling.

Strumento gratuito · nel browser esecuzioni · senza account