Herramienta web / 05
Comprobador de rastreadores de IA
Convierte las reglas de robots.txt de un sitio en un informe de políticas legible para rastreadores de IA conocidos.
Comprobador de rastreadores de IA: TOEA evalúa las reglas de robots.txt para un grupo seleccionado de rastreadores de IA, búsqueda y conjuntos de datos identificados por nombre, y muestra la regla coincidente más específica. Se procesa de forma segura bajo demanda.
- Categoría
- Herramientas web
- Se ejecuta
- En el servidor de TOEA
- Coste
- Gratis · sin registro
- Disponibilidad
- Lista para usar
Cómo se usa
- Introduce una página del sitio que quieres inspeccionar.
- Elige “Comprobar crawlers de IA”.
- Revisa la política coincidente y la regla de origen para cada rastreador.
Privacidad y límites
La URL del sitio web se verifica a través de la API de TOEA y no se almacena. Robots.txt es voluntario y los nombres o el comportamiento de los rastreadores pueden cambiar; un resultado permitido no significa que un sitio esté incluido en ningún producto de IA.
Herramientas relacionadas
Preguntas frecuentes
¿“Permitido” significa que mi contenido se usa para IA?
No. Solo significa que las reglas actuales de robots.txt no bloquean ese rastreador indicado por nombre en la ruta raíz.
¿Puede robots.txt hacer cumplir una política legal?
Robots.txt expresa preferencias para los rastreadores; no es control de acceso ni asesoramiento legal.
¿Bloquear GPTBot mantendrá mis páginas fuera de ChatGPT?
No del todo. GPTBot recopila datos de entrenamiento; los resultados de búsqueda de ChatGPT provienen de OAI-SearchBot, y las páginas que un usuario pide a ChatGPT abrir las recupera ChatGPT-User. Cada uno tiene su propio token.
¿Bloquear Google-Extended perjudica mi posicionamiento en Google Search?
No. Google-Extended solo controla si el contenido que Googlebot obtiene puede usarse para Gemini; Google dice que no afecta la inclusión ni la clasificación en Google Search.
¿Qué rastreadores comprueba?
Diez tokens: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, CCBot, Bytespider y Amazonbot. La tabla siguiente indica para qué sirve cada uno.
Herramienta gratuita · se ejecuta en el servidor de toea · sin cuenta