robots.txt Üretici
YZ tarayıcı engel listeleri veya izin listeleri, bot başına kurallar, crawl-delay ve sitemap yönergeleriyle bir robots.txt kur — sonra kopyala veya indir.
Presets
Site-wide rules (User-agent: *)
AI crawlers
- GPTBotOpenAI · model training
- OAI-SearchBotOpenAI · search index
- ChatGPT-UserOpenAI · user-triggered fetch
- ClaudeBotAnthropic · model training
- Claude-UserAnthropic · user-triggered fetch
- PerplexityBotPerplexity · answer engine
- Google-ExtendedGoogle · AI training (not Search)
- CCBotCommon Crawl · open dataset
- Applebot-ExtendedApple · AI training
- BytespiderByteDance · aggressive crawler
- AmazonbotAmazon · AI and Alexa
- FacebookBotMeta · AI training
- meta-externalagentMeta · AI training (new)
robots.txt
Bu araç tamamen tarayıcında çalışır. Verilerin asla cihazından çıkmaz — hiçbir sunucuya yüklenmez.
Nasıl kullanılır
- 1Bir ön ayar seç: hepsine izin ver, YZ eğitim botlarını engelle veya her şeyi engelle.
- 2Her YZ tarayıcısını Allow, Block veya kural yokla ince ayarla; User-agent: * için Disallow yolları ekle.
- 3Sitemap URL'ni ekle, sonra dosyayı site köküne kopyala veya indir.
robots.txt Üretici
robots.txt, bir sayfa daha getirilmeden tarayıcı erişimini kontrol eder. Klasik User-agent: * kurallarının ötesinde artık bot başına karar veriyorsun: OAI-SearchBot ve PerplexityBot gibi arama yanlı tarayıcılara izin ver, GPTBot, ClaudeBot, Google-Extended, CCBot ve Bytespider gibi eğitim tarayıcılarını engelle ya da kendi politikanı harmanla.
Üretici, aynı kuralı paylaşan user-agent'ları gruplar, desteklendiği yerde crawl-delay ekler ve sitemap yönergeni iliştirir. Dosyayı alan adının köküne /robots.txt olarak kopyala ve Search Console'un robots raporunda doğrula.
Sık sorulan sorular
robots.txt bir güvenlik kontrolü müdür?
Hayır. Danışmansaldır: kurallara uyan tarayıcılar dinler ama herkes okuyabilir — ve özel yollarını reklamını yapar. Hassas alanları kimlik doğrulamayla koru; güvenlik için asla Disallow'a güvenme.
YZ tarayıcıları gerçekten robots.txt'ye saygı duyar mı?
Belgelenmiş başlıcaları — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — robots.txt desteği beyan eder ama uyum gönüllüdür ve işletmeciye göre değişir. Kesin garanti için CDN veya güvenlik duvarı katmanında engelle.
Sayfam Disallow'dan sonra neden hâlâ indeksli?
Taramayı engellemek, indekslemeyi engellemek değildir: başka sayfalar URL'ye bağlanıyorsa Google içeriği olmadan indekslemeye devam edebilir. Bir sayfayı sonuçlardan çıkarmak için taramaya izin ver ve bunun yerine noindex meta etiketi kullan.
İlgili araçlar
XML Sitemap Üretici
Bir URL listesi yapıştır ve lastmod'lu, bölüm başına changefreq ve priority'li geçerli bir sitemap.xml al — tekilleştirilmiş ve gönderilmeye hazır.
Tüm araçlar →
Meta Etiket Üretici
Başlık, açıklama, anahtar kelimeler, robots ve viewport meta etiketlerini canlı HTML çıktısıyla üret; doğrudan <head> bölümüne yapıştır.
Tüm araçlar →
Canonical Etiket Üretici
Doğru bir rel=canonical bağlantı etiketi üret ve URL'leri nasıl eşitleyeceğini öğren; arama motorları istediğin tek sürümü indekslesin.
Tüm araçlar →
Bu aracı gömün
Tek satırla bu aracı sitenize ekleyin — ziyaretçinin tarayıcısında çalışır.
<iframe src="https://zoyku.com/tr/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>