Генератор robots.txt
Соберите robots.txt со списками блокировки или разрешения AI-краулеров, правилами по каждому боту, crawl-delay и директивой sitemap — затем скопируйте или скачайте.
Presets
Site-wide rules (User-agent: *)
AI crawlers
- GPTBotOpenAI · model training
- OAI-SearchBotOpenAI · search index
- ChatGPT-UserOpenAI · user-triggered fetch
- ClaudeBotAnthropic · model training
- Claude-UserAnthropic · user-triggered fetch
- PerplexityBotPerplexity · answer engine
- Google-ExtendedGoogle · AI training (not Search)
- CCBotCommon Crawl · open dataset
- Applebot-ExtendedApple · AI training
- BytespiderByteDance · aggressive crawler
- AmazonbotAmazon · AI and Alexa
- FacebookBotMeta · AI training
- meta-externalagentMeta · AI training (new)
robots.txt
Инструмент полностью работает в вашем браузере. Данные не покидают устройство и не загружаются ни на один сервер.
Как пользоваться
- 1Выберите пресет: разрешить всем, блокировать обучающих AI-ботов или блокировать всё.
- 2Донастройте каждый AI-краулер значением Allow, Block или без правила и добавьте пути Disallow для User-agent: *.
- 3Добавьте URL sitemap, затем скопируйте или скачайте файл в корень сайта.
Генератор robots.txt
robots.txt управляет доступом краулеров ещё до загрузки страницы. Помимо классических правил User-agent: *, вы теперь решаете по каждому AI-боту: разрешить околопоисковых краулеров вроде OAI-SearchBot и PerplexityBot, заблокировать обучающие вроде GPTBot, ClaudeBot, Google-Extended, CCBot и Bytespider или смешать свою политику.
Генератор группирует user-agent с общими правилами, добавляет crawl-delay там, где он поддерживается, и прикладывает директиву sitemap. Скопируйте файл в корень домена как /robots.txt и проверьте его в отчёте robots консоли Search Console.
Частые вопросы
robots.txt — это средство безопасности?
Нет. Он рекомендательный: дисциплинированные краулеры его соблюдают, но прочитать его может любой — и он рекламирует ваши приватные пути. Защищайте чувствительные области аутентификацией; никогда не полагайтесь на Disallow в вопросах безопасности.
AI-краулеры вообще соблюдают robots.txt?
Крупные документированные — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — заявляют поддержку robots.txt, но соблюдение добровольно и зависит от оператора. Для жёстких гарантий блокируйте на уровне CDN или файрвола.
Почему страница всё ещё в индексе после Disallow?
Блокировка обхода — это не блокировка индексации: если на URL ссылаются другие страницы, Google может проиндексировать его без содержимого. Чтобы убрать страницу из результатов, разрешите обход и используйте мета-тег noindex.
Похожие инструменты
Генератор XML sitemap
Вставьте список URL и получите валидный sitemap.xml с lastmod, changefreq и priority по секциям — с дедупликацией, готовый к отправке.
Все инструменты →
Генератор мета-тегов
Сгенерируйте мета-теги title, description, keywords, robots и viewport с живым HTML-выводом, который вставляется прямо в <head>.
Все инструменты →
Генератор canonical
Сгенерируйте правильный тег ссылки rel=canonical и разберитесь, как нормализовать URL, чтобы поисковики индексировали ту версию, которую вы хотите.
Все инструменты →
Встроить этот инструмент
Одна строка — и инструмент на вашем сайте. Он работает в браузере посетителя.
<iframe src="https://zoyku.com/ru/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>