SEO / Rastreo

Generador de robots.txt

Crea un archivo robots.txt con reglas para cada rastreador, líneas de sitemap y ajustes para permitir todo, bloquear un sitio de pruebas o bloquear rastreadores de entrenamiento de IA.

Generador de robots.txt: robots.txt indica a los rastreadores qué rutas pueden consultar, tal como estandariza RFC 9309: cada grupo nombra agentes de usuario y, después, incluye reglas Disallow y Allow; gana la regla coincidente más específica. El ajuste de entrenamiento de IA añade un grupo para GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot y meta-externalagent, los nombres que sus operadores documentan para excluirse del entrenamiento. El generador avisa sobre rutas sin una barra inicial, URL de sitemap relativas y reglas que bloquean a todos los rastreadores. Funciona al 100 % en tu navegador, sin subir archivos a ningún servidor.

Categoría
Herramientas web
Se ejecuta
En tu navegador
Coste
Gratis · sin registro
Disponibilidad
Lista para usar
Generador de robots.txtProcesamiento local

Funciona por completo en tu navegador

Grupo 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Coloca el archivo en la raíz de tu sitio, por ejemplo, en https://example.com/robots.txt. Pide a los rastreadores que no entren; no oculta ni protege nada y Google ignora Crawl-delay. Los nombres de los rastreadores de IA se comprobaron el 2 October 2026; las empresas añaden nuevos, así que consulta su documentación.

Errores frecuentes

Bloquear CSS y JavaScript impide que los motores de búsqueda representen correctamente las páginas; bloquear una página que quieres eliminar impide que los rastreadores vean su etiqueta noindex; dejar Disallow: / del sitio de pruebas después del lanzamiento oculta todo el sitio. Comprueba el archivo activo después de cada implementación.

Para probar un archivo existente, usa el comprobador de robots.txt; para comprobar el sitemap al que apunta, usa el comprobador de sitemap.

Comodines

Google y Bing admiten * para cualquier carácter y $ para el final de la URL: Disallow: /*.pdf$ bloquea todos los PDF. Gana la regla coincidente más larga, por lo que Allow: /shop/sale/ prevalece sobre Disallow: /shop/.

Cómo se usa

  1. Empieza con un ajuste predefinido o edita los grupos de agentes de usuario y rutas.
  2. Añade las URL de tus sitemaps.
  3. Copia o descarga robots.txt y colócalo en la raíz de tu sitio.

Privacidad y límites

El archivo se crea en tu navegador.

Herramientas relacionadas

Comprobador de robots.txtSitemapMetaetiquetasGenerador de CSP

Preguntas frecuentes

¿robots.txt bloquea páginas de la búsqueda de Google?

Detiene el rastreo, no la indexación: una página bloqueada todavía puede aparecer en los resultados si otros sitios enlazan a ella. Para mantener una página fuera de la búsqueda, permite el rastreo y añade una etiqueta meta noindex.

¿Bloquear los rastreadores de IA eliminará mi contenido de las herramientas de IA?

Pide a esos rastreadores que no recopilen tus páginas a partir de ahora; no elimina nada que ya hayan recopilado y solo cumplirán los rastreadores que respeten robots.txt.

¿Funciona Crawl-delay?

Bing y otros rastreadores lo respetan; Google lo ignora y ajusta automáticamente su velocidad de rastreo.

Herramienta gratuita · se ejecuta en tu navegador · sin cuenta