Strumento web / 05

Verifica dei crawler AI

Trasforma le regole robots.txt di un sito in un report leggibile per i crawler AI più noti.

Verifica dei crawler AI: TOEA valuta le regole robots.txt per un gruppo selezionato di crawler AI, di ricerca e di dataset, mostrando la regola corrispondente più specifica. Elaborazione sicura su richiesta.

Categoria
Strumenti Web
Esecuzioni
Sul server di TOEA
Costo
Gratuito · senza registrazione
Disponibilità
Pronto all'uso
Lettore delle regole per i crawler AIControllo sicuro di un URL pubblico

Spiega le regole di robots.txt; non può garantire il comportamento dei crawler o l'inclusione nei sistemi AI.

Come usarlo

  1. Inserisci una pagina del sito che vuoi controllare.
  2. Seleziona «Verifica i crawler AI».
  3. Controlla la policy applicata e la regola di origine per ogni crawler.

Privacy e limitazioni

L'URL del sito viene verificato tramite l'API di TOEA e non viene memorizzato. robots.txt è volontario e i nomi o il comportamento dei crawler possono cambiare; un risultato che indica l'accesso consentito non significa che un sito sia incluso in un prodotto AI.

Strumenti correlati

Verifica robots.txtllms.txtVerifica noindex

Domande frequenti

«Accesso consentito» significa che i miei contenuti vengono usati per l'AI?

No. Significa solo che le regole robots.txt attuali non bloccano il crawler indicato nel percorso principale.

robots.txt può imporre una policy legale?

Robots.txt esprime le preferenze per i crawler; non è un sistema di controllo degli accessi né un parere legale.

Bloccare GPTBot terrà le mie pagine fuori da ChatGPT?

Non completamente. GPTBot raccoglie dati per l'addestramento; i risultati di ricerca di ChatGPT provengono da OAI-SearchBot, mentre le pagine che un utente chiede a ChatGPT di aprire vengono recuperate da ChatGPT-User. Ognuno ha il proprio token.

Bloccare Google-Extended danneggia il posizionamento delle mie pagine nella Ricerca Google?

No. Google-Extended controlla solo se i contenuti recuperati da Googlebot possono essere usati per Gemini; Google afferma che non influisce sull'inclusione o sul posizionamento nella Ricerca.

Quali crawler vengono controllati?

Dieci token: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, CCBot, Bytespider e Amazonbot. La tabella qui sotto spiega a cosa serve ciascuno.

Strumento gratuito · sul server di toea esecuzioni · senza account