Generador de robots.txt
Crea un robots.txt con listas de bloqueo o permiso de crawlers de IA, reglas por bot, crawl-delay y sitemap, listo para copiar o descargar.
Ajustes predefinidos
Reglas de todo el sitio (User-agent: *)
Rastreadores de IA
- GPTBotOpenAI · entrenamiento de modelos
- OAI-SearchBotOpenAI · índice de búsqueda
- ChatGPT-UserOpenAI · petición iniciada por el usuario
- ClaudeBotAnthropic · entrenamiento de modelos
- Claude-UserAnthropic · petición iniciada por el usuario
- PerplexityBotPerplexity · motor de respuestas
- Google-ExtendedGoogle · entrenamiento de IA (no Búsqueda)
- CCBotCommon Crawl · conjunto de datos abierto
- Applebot-ExtendedApple · entrenamiento de IA
- BytespiderByteDance · rastreador agresivo
- AmazonbotAmazon · IA y Alexa
- FacebookBotMeta · entrenamiento de IA
- meta-externalagentMeta · entrenamiento de IA (nuevo)
robots.txt
Esta herramienta funciona por completo en tu navegador. Tus datos nunca salen de tu dispositivo y no se suben a ningún servidor.
Cómo usarlo
- 1Elige un ajuste predefinido: permitir todo, bloquear bots de entrenamiento de IA o bloquear todo.
- 2Ajusta cada crawler de IA con Permitir, Bloquear o sin regla, y añade rutas Disallow para User-agent: *.
- 3Añade la URL de tu sitemap y copia o descarga el archivo a la raíz del sitio.
Generador de robots.txt
robots.txt controla el acceso de los rastreadores antes de que una página llegue a descargarse. Más allá de las reglas clásicas de User-agent: *, ahora puedes decidir bot por bot: permitir crawlers ligados a la búsqueda como OAI-SearchBot y PerplexityBot, bloquear los de entrenamiento como GPTBot, ClaudeBot, Google-Extended, CCBot y Bytespider, o combinar tu propia política.
El generador agrupa los user-agents que comparten regla, añade crawl-delay donde se respeta y agrega tu directiva de sitemap. Copia el archivo a la raíz del dominio en /robots.txt y verifícalo en el informe de robots de Search Console.
Preguntas frecuentes
¿robots.txt es una medida de seguridad?
No. Es orientativo: los crawlers que cumplen lo obedecen, pero cualquiera puede leerlo — y publicita tus rutas privadas. Protege las zonas sensibles con autenticación; nunca confíes en Disallow como seguridad.
¿Los crawlers de IA respetan de verdad robots.txt?
Los principales documentados —GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot— declaran soporte, pero el cumplimiento es voluntario y varía según el operador. Para garantías reales, bloquea a nivel de CDN o firewall.
¿Por qué mi página sigue indexada tras un Disallow?
Bloquear el rastreo no es bloquear la indexación: si otras páginas enlazan la URL, Google puede indexarla sin su contenido. Para sacarla de resultados, permite el rastreo y usa una meta etiqueta noindex.
Herramientas relacionadas
Generador de sitemap XML
Pega una lista de URLs y obtén un sitemap.xml válido con lastmod, changefreq y priority por sección, sin duplicados y listo para enviar.
Todas las herramientas →
Generador de meta etiquetas
Genera title, description, keywords, robots y viewport con salida HTML en vivo, lista para pegar en tu <head>.
Todas las herramientas →
Generador de etiquetas canonical
Genera una etiqueta rel=canonical correcta y aprende a normalizar URLs para que los buscadores indexen la versión que quieres.
Todas las herramientas →
Insertar esta herramienta
Pon esta herramienta en tu sitio con una línea: se ejecuta en el navegador del visitante.
<iframe src="https://zoyku.com/es/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>