Generator robots.txt
Bangun robots.txt dengan blocklist atau allowlist crawler AI, aturan per-bot, crawl-delay, dan direktif sitemap — lalu salin atau unduh.
Presets
Site-wide rules (User-agent: *)
AI crawlers
- GPTBotOpenAI · model training
- OAI-SearchBotOpenAI · search index
- ChatGPT-UserOpenAI · user-triggered fetch
- ClaudeBotAnthropic · model training
- Claude-UserAnthropic · user-triggered fetch
- PerplexityBotPerplexity · answer engine
- Google-ExtendedGoogle · AI training (not Search)
- CCBotCommon Crawl · open dataset
- Applebot-ExtendedApple · AI training
- BytespiderByteDance · aggressive crawler
- AmazonbotAmazon · AI and Alexa
- FacebookBotMeta · AI training
- meta-externalagentMeta · AI training (new)
robots.txt
Alat ini berjalan sepenuhnya di browser Anda. Data Anda tidak pernah meninggalkan perangkat — tidak diunggah ke server mana pun.
Cara pakai
- 1Pilih preset: izinkan semua, blokir bot pelatihan AI, atau blokir semuanya.
- 2Haluskan tiap crawler AI dengan Allow, Block, atau tanpa aturan, dan tambahkan path Disallow untuk User-agent: *.
- 3Tambahkan URL sitemap Anda, lalu salin atau unduh filenya ke root situs Anda.
Generator robots.txt
robots.txt mengendalikan akses crawler sebelum sebuah halaman bahkan diambil. Melampaui aturan User-agent: * klasik, kini Anda bisa memutuskan per bot AI: izinkan crawler sekeluarga pencarian seperti OAI-SearchBot dan PerplexityBot, blokir crawler pelatihan seperti GPTBot, ClaudeBot, Google-Extended, CCBot, dan Bytespider, atau campur kebijakan Anda sendiri.
Generator mengelompokkan user-agent yang berbagi aturan, menambah crawl-delay di tempat ia dihormati, dan menyertakan direktif sitemap Anda. Salin filenya ke root domain di /robots.txt dan verifikasi di laporan robots milik Search Console.
Pertanyaan yang sering diajukan
Apakah robots.txt adalah kontrol keamanan?
Bukan. Ia bersifat advisori: crawler yang patuh menaatinya, tetapi siapa pun bisa membacanya — dan ia mengiklankan path privat Anda. Lindungi area sensitif dengan autentikasi; jangan pernah mengandalkan Disallow untuk keamanan.
Apakah crawler AI benar-benar menghormati robots.txt?
Yang besar dan terdokumentasi — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — menyatakan mendukung robots.txt, tetapi kepatuhannya sukarela dan berbeda tiap operator. Untuk jaminan keras, blokir di lapisan CDN atau firewall.
Kenapa halaman saya masih terindeks setelah Disallow?
Memblokir crawling bukan memblokir indexing: jika halaman lain menautkan ke URL itu, Google masih bisa mengindeksnya tanpa kontennya. Untuk mengeluarkan halaman dari hasil, izinkan crawling dan gunakan meta tag noindex sebagai gantinya.
Alat terkait
Generator XML Sitemap
Tempel daftar URL dan dapatkan sitemap.xml yang valid dengan lastmod, changefreq dan priority per seksi — terdeduplikasi dan siap dikirim.
Semua alat →
Generator Meta Tag
Hasilkan meta tag title, description, keywords, robots, dan viewport dengan output HTML langsung yang bisa langsung Anda tempel ke <head>.
Semua alat →
Generator Tag Canonical
Hasilkan tag tautan rel=canonical yang benar dan pelajari cara menormalkan URL agar mesin pencari mengindeks satu versi yang Anda mau.
Semua alat →
Sematkan alat ini
Tambahkan alat ini ke situs Anda dengan satu baris — berjalan di browser pengunjung.
<iframe src="https://zoyku.com/id/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>