robots.txt जनरेटर
AI क्रॉलर ब्लॉकलिस्ट या अलाउलिस्ट, हर-बॉट नियम, crawl-delay और sitemap डायरेक्टिव के साथ robots.txt बनाएँ — फिर कॉपी या डाउनलोड करें।
Presets
Site-wide rules (User-agent: *)
AI crawlers
- GPTBotOpenAI · model training
- OAI-SearchBotOpenAI · search index
- ChatGPT-UserOpenAI · user-triggered fetch
- ClaudeBotAnthropic · model training
- Claude-UserAnthropic · user-triggered fetch
- PerplexityBotPerplexity · answer engine
- Google-ExtendedGoogle · AI training (not Search)
- CCBotCommon Crawl · open dataset
- Applebot-ExtendedApple · AI training
- BytespiderByteDance · aggressive crawler
- AmazonbotAmazon · AI and Alexa
- FacebookBotMeta · AI training
- meta-externalagentMeta · AI training (new)
robots.txt
यह टूल पूरी तरह आपके ब्राउज़र में चलता है। आपका डेटा कभी आपके डिवाइस से बाहर नहीं जाता — किसी सर्वर पर अपलोड नहीं होता।
इस्तेमाल कैसे करें
- 1प्रीसेट चुनें: सब को इजाज़त, AI ट्रेनिंग बॉट रोकें, या सब रोकें।
- 2हर AI क्रॉलर Allow, Block या कोई नियम नहीं से बारीक़ी से सेट करें, और User-agent: * के लिए Disallow पाथ जोड़ें।
- 3अपना sitemap URL जोड़ें, फिर फ़ाइल कॉपी या डाउनलोड करके साइट रूट में रखें।
robots.txt जनरेटर
robots.txt पेज लाया जाने से पहले ही क्रॉलर की पहुँच तय करता है। क्लासिक User-agent: * नियमों से आगे अब हर AI बॉट पर फ़ैसला कर सकते हैं: OAI-SearchBot और PerplexityBot जैसे सर्च-पड़ोसी क्रॉलर को इजाज़त दें, GPTBot, ClaudeBot, Google-Extended, CCBot और Bytespider जैसे ट्रेनिंग क्रॉलर को रोकें, या अपनी नीति घोड़े-घोड़े बनाएँ।
जनरेटर एक ही नियम रखने वाले user-agent को ग्रुप करता है, जहाँ माना जाता हो वहाँ crawl-delay जोड़ता है, और आपका sitemap डायरेक्टिव जोड़ता है। फ़ाइल /robots.txt पर अपने डोमेन रूट में कॉपी करें और Search Console की robots रिपोर्ट से तस्दीक़ करें।
अक्सर पूछे जाने वाले सवाल
क्या robots.txt सुरक्षा-नियंत्रण है?
नहीं। वह सलाहकारी है: नियमों के पाबंद क्रॉलर उसका पालन करते हैं, पर कोई भी उसे पढ़ सकता है — और वह आपके प्राइवेट पाथ का विज्ञापन भी करता है। संवेदनशील हिस्सों को ऑथेंटिकेशन से बचाएँ; सुरक्षा के लिए Disallow पर कभी भरोसा न करें।
क्या AI क्रॉलर सचमुच robots.txt का पालन करते हैं?
बड़े दस्तावेज़ीकृत — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — robots.txt सपोर्ट बताते हैं, पर पालन ऐच्छिक है और ऑपरेटर से ऑपरेटर बदलता है। पक्की गारंटी के लिए CDN या फ़ायरवॉल पर रोकें।
Disallow के बाद भी मेरा पेज इंडेक्स में क्यों है?
क्रॉलिंग रोकना इंडेक्सिंग रोकना नहीं है: अगर दूसरे पेज उस URL से लिंक करते हैं, Google उसे बिना कंटेंट भी इंडेक्स कर सकता है। पेज नतीजों से हटाने के लिए क्रॉलिंग की इजाज़त दें और noindex मेटा टैग इस्तेमाल करें।
मिलते-जुलते टूल
XML Sitemap जनरेटर
URL लिस्ट पेस्ट करें और lastmod, हर-सेक्शन changefreq और priority वाली वैध sitemap.xml पाएँ — डिडुप्लिकेटेड और सबमिट के लिए तैयार।
सभी टूल →
मेटा टैग जनरेटर
टाइटल, डिस्क्रिप्शन, कीवर्ड, robots और viewport मेटा टैग बनाएँ — लाइव HTML आउटपुट के साथ जिसे सीधे अपने <head> में पेस्ट कर सकते हैं।
सभी टूल →
Canonical टैग जनरेटर
सही rel=canonical लिंक टैग बनाएँ और सीखें URL को स्टैंडर्ड कैसे करें ताकि सर्च इंजन उसी वर्ज़न को इंडेक्स करें जो आप चाहते हैं।
सभी टूल →
यह टूल एम्बेड करें
एक लाइन में यह टूल अपनी साइट पर लगाएँ — यह विज़िटर के ब्राउज़र में चलता है।
<iframe src="https://zoyku.com/hi/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>