Générateur de robots.txt
Construisez un robots.txt avec listes de blocage ou d'autorisation des robots d'IA, règles par bot, crawl-delay et directive sitemap — puis copiez ou téléchargez.
Presets
Site-wide rules (User-agent: *)
AI crawlers
- GPTBotOpenAI · model training
- OAI-SearchBotOpenAI · search index
- ChatGPT-UserOpenAI · user-triggered fetch
- ClaudeBotAnthropic · model training
- Claude-UserAnthropic · user-triggered fetch
- PerplexityBotPerplexity · answer engine
- Google-ExtendedGoogle · AI training (not Search)
- CCBotCommon Crawl · open dataset
- Applebot-ExtendedApple · AI training
- BytespiderByteDance · aggressive crawler
- AmazonbotAmazon · AI and Alexa
- FacebookBotMeta · AI training
- meta-externalagentMeta · AI training (new)
robots.txt
Cet outil s'exécute entièrement dans votre navigateur. Vos données ne quittent jamais votre appareil — elles ne sont envoyées à aucun serveur.
Mode d'emploi
- 1Choisissez un préréglage : tout autoriser, bloquer les bots d'entraînement IA ou tout bloquer.
- 2Ajustez chaque crawler d'IA avec Autoriser, Bloquer ou aucune règle, et ajoutez des chemins Disallow pour User-agent: *.
- 3Ajoutez l'URL de votre sitemap, puis copiez ou téléchargez le fichier à la racine du site.
Générateur de robots.txt
robots.txt contrôle l'accès des crawlers avant même que la page soit récupérée. Au-delà des règles classiques User-agent: *, vous décidez maintenant bot par bot : autoriser les crawlers proches de la recherche comme OAI-SearchBot et PerplexityBot, bloquer les crawlers d'entraînement comme GPTBot, ClaudeBot, Google-Extended, CCBot et Bytespider, ou mélanger votre propre politique.
Le générateur regroupe les user-agents partageant une règle, ajoute crawl-delay là où il est respecté, et ajoute votre directive sitemap. Copiez le fichier à la racine de votre domaine en /robots.txt et vérifiez-le dans le rapport robots de Search Console.
Questions fréquentes
robots.txt est-il un contrôle de sécurité ?
Non. Il est indicatif : les crawlers respectueux lui obéissent, mais n'importe qui peut le lire — et il publicise vos chemins privés. Protégez les zones sensibles par authentification ; ne comptez jamais sur Disallow pour la sécurité.
Les crawlers d'IA respectent-ils vraiment robots.txt ?
Les principaux documentés — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — déclarent le prendre en charge, mais le respect est volontaire et varie selon les opérateurs. Pour des garanties fermes, bloquez au niveau du CDN ou du pare-feu.
Pourquoi ma page reste-t-elle indexée après un Disallow ?
Bloquer l'exploration n'est pas bloquer l'indexation : si d'autres pages font un lien vers l'URL, Google peut l'indexer quand même, sans son contenu. Pour retirer une page des résultats, permettez l'exploration et utilisez plutôt une balise meta noindex.
Outils associés
Générateur de sitemap XML
Collez une liste d'URLs et obtenez un sitemap.xml valide avec lastmod, changefreq et priorité par section — dédupliqué et prêt à soumettre.
Tous les outils →
Générateur de balises meta
Générez les balises meta title, description, keywords, robots et viewport avec une sortie HTML en direct à coller directement dans votre <head>.
Tous les outils →
Générateur de balise canonique
Générez une balise link rel=canonical correcte et apprenez à normaliser vos URLs pour que les moteurs n'indexent que la version que vous voulez.
Tous les outils →
Intégrer cet outil
Ajoutez cet outil à votre site en une ligne — il s'exécute dans le navigateur du visiteur.
<iframe src="https://zoyku.com/fr/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>