Skip to content
Zoyku

Generatore robots.txt

Costruisce un robots.txt con liste di blocco o permesso per i crawler AI, regole per singolo bot, crawl-delay e direttive sitemap — poi copia o scarica.

Presets

Site-wide rules (User-agent: *)

AI crawlers

  • GPTBotOpenAI · model training
  • OAI-SearchBotOpenAI · search index
  • ChatGPT-UserOpenAI · user-triggered fetch
  • ClaudeBotAnthropic · model training
  • Claude-UserAnthropic · user-triggered fetch
  • PerplexityBotPerplexity · answer engine
  • Google-ExtendedGoogle · AI training (not Search)
  • CCBotCommon Crawl · open dataset
  • Applebot-ExtendedApple · AI training
  • BytespiderByteDance · aggressive crawler
  • AmazonbotAmazon · AI and Alexa
  • FacebookBotMeta · AI training
  • meta-externalagentMeta · AI training (new)

robots.txt

Questo strumento gira interamente nel tuo browser. I tuoi dati non lasciano mai il dispositivo: non vengono caricati su nessun server.

Come si usa

  1. 1Scegli un preset: permetti tutto, blocca i bot di addestramento AI o blocca tutto.
  2. 2Regola ogni crawler AI con Permetti, Blocca o nessuna regola, e aggiungi percorsi Disallow per User-agent: *.
  3. 3Aggiungi l'URL della sitemap, poi copia o scarica il file nella radice del sito.

Generatore robots.txt

robots.txt controlla l'accesso dei crawler prima ancora che una pagina venga richiesta. Oltre alle regole classiche User-agent: *, ora puoi decidere bot per bot: permetti ai crawler legati alla ricerca come OAI-SearchBot e PerplexityBot, blocca i crawler di addestramento come GPTBot, ClaudeBot, Google-Extended, CCBot e Bytespider, o mischia una politica tutta tua.

Il generatore raggruppa gli user-agent che condividono una regola, aggiunge il crawl-delay dove viene onorato e accoda la direttiva sitemap. Copia il file nella radice del dominio, in /robots.txt, e verificalo nel report robots di Search Console.

Domande frequenti

robots.txt è un controllo di sicurezza?

No. È consultivo: i crawler conformi lo obbediscono, ma chiunque può leggerlo — e pubblicizza i tuoi percorsi privati. Proteggi le aree sensibili con l'autenticazione; non fare mai affidamento su Disallow per la sicurezza.

I crawler AI rispettano davvero robots.txt?

I principali documentati — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — dichiarano il supporto a robots.txt, ma la conformità è volontaria e varia per gestore. Per garanzie forti, blocca al livello CDN o firewall.

Perché la mia pagina resta indicizzata dopo il Disallow?

Bloccare la scansione non è bloccare l'indicizzazione: se altre pagine linkano l'URL, Google può indicizzarlo comunque senza il contenuto. Per togliere una pagina dai risultati, permetti la scansione e usa un meta tag noindex.

Strumenti correlati

Tutti gli strumenti SEO →

Generatore sitemap XML

Incolla un elenco di URL e ottieni un sitemap.xml valido con lastmod, changefreq e priority per sezione — deduplicato e pronto da presentare.

Tutti gli strumenti →

Generatore di meta tag

Genera meta tag title, description, keywords, robots e viewport con output HTML dal vivo da incollare direttamente nel tuo <head>.

Tutti gli strumenti →

Generatore di tag canonical

Genera un tag link rel=canonical corretto e scopri come normalizzare gli URL così i motori di ricerca indicizzano l'unica versione che vuoi.

Tutti gli strumenti →

Incorpora questo strumento

Metti questo strumento sul tuo sito con una riga: gira nel browser del visitatore.

<iframe src="https://zoyku.com/it/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>
100% local processing