مولّد robots.txt
ابنِ ملف robots.txt بقوائم حظر أو سماح لزواحف الذكاء الاصطناعي، وقواعد لكل روبوت، وتأخير زحف وتوجيهات خريطة موقع — ثم انسخ أو نزّل.
Presets
Site-wide rules (User-agent: *)
AI crawlers
- GPTBotOpenAI · model training
- OAI-SearchBotOpenAI · search index
- ChatGPT-UserOpenAI · user-triggered fetch
- ClaudeBotAnthropic · model training
- Claude-UserAnthropic · user-triggered fetch
- PerplexityBotPerplexity · answer engine
- Google-ExtendedGoogle · AI training (not Search)
- CCBotCommon Crawl · open dataset
- Applebot-ExtendedApple · AI training
- BytespiderByteDance · aggressive crawler
- AmazonbotAmazon · AI and Alexa
- FacebookBotMeta · AI training
- meta-externalagentMeta · AI training (new)
robots.txt
تعمل هذه الأداة بالكامل داخل متصفحك. بياناتك لا تغادر جهازك أبداً — لا يتم رفعها إلى أي خادم.
طريقة الاستخدام
- 1اختر إعداداً مسبقاً: السماح للجميع، أو حظر روبوتات تدريب الذكاء الاصطناعي، أو حظر كل شيء.
- 2اضبط كل زاحف ذكاء اصطناعي بـ Allow أو Block أو بلا قاعدة، وأضِف مسارات Disallow لـ User-agent: *.
- 3أضِف رابط خريطة موقعك، ثم انسخ الملف أو نزّله إلى جذر موقعك.
مولّد robots.txt
يتحكم robots.txt في وصول الزواحف قبل جلب الصفحة أصلاً. وبخلاف قواعد User-agent: * الكلاسيكية، يمكنك الآن أن تقرر لكل روبوت ذكاء اصطناعي: اسمح لزواحف البحث المجاورة مثل OAI-SearchBot وPerplexityBot، واحظر زواحف التدريب مثل GPTBot وClaudeBot وGoogle-Extended وCCBot وBytespider، أو اخلط سياستك بنفسك.
يجمع المولّد وكلاء المستخدمين المشاركين قاعدةً واحدة، ويضيف crawl-delay حيث يُحترم، ويلحق توجيه خريطة موقعك. انسخ الملف إلى جذر نطاقك في /robots.txt وتحقق منه في تقرير robots بـ Search Console.
الأسئلة الشائعة
هل robots.txt وسيلة تحكم أمنية؟
لا. إنه استشاري: يطيعه الزواحف الملتزمة، لكن أي أحد يستطيع قراءته — وهو يعلن عن مساراتك الخاصة. احمِ المناطق الحساسة بالمصادقة؛ ولا تعتمد أبداً على Disallow للأمان.
هل يحترم زواحف الذكاء الاصطناعي robots.txt فعلاً؟
الموثَّقة الكبرى — GPTBot وClaudeBot وPerplexityBot وGoogle-Extended وCCBot — تعلن دعم robots.txt، لكن الالتزام طوعي ويختلف بين المشغلين. ولضمانات صارمة، احظر عند طبقة CDN أو جدار الحماية.
لماذا ما زالت صفحتي مفهرسة بعد Disallow؟
حظر الزحف ليس حظر الفهرسة: إذا ربطت صفحات أخرى إلى الرابط، فقد تظل Google تفهرسه دون محتواه. لإزالة صفحة من النتائج، اسمح بالزحف واستخدم وسم noindex بدلاً من ذلك.
أدوات ذات صلة
مولّد خرائط المواقع XML
الصق قائمة روابط واحصل على sitemap.xml صالحة مع lastmod وتكرار تغيير وأولوية لكل قسم — منزوعة التكرار وجاهزة للتقديم.
كل الأدوات →
مولّد وسوم meta
ولّد وسوم العنوان والوصف والكلمات المفتاحية وrobots وviewport مع ناتج HTML حي تلصقه مباشرة في <head>.
كل الأدوات →
مولّد وسم Canonical
ولّد وسم رابط rel=canonical صحيحاً وتعلّم كيف توحّد الروابط كي تفهرس محركات البحث النسخة الوحيدة التي تريدها.
كل الأدوات →
تضمين هذه الأداة
أضف هذه الأداة إلى موقعك بسطر واحد — تعمل في متصفح الزائر.
<iframe src="https://zoyku.com/ar/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>