robots.txt 生成器
快速生成 robots.txt:AI 爬虫黑白名单、逐个设置允许或屏蔽、crawl-delay 与 sitemap 指令,支持复制和下载。
预设
全站规则(User-agent: *)
AI 爬虫
- GPTBotOpenAI · 模型训练
- OAI-SearchBotOpenAI · 搜索索引
- ChatGPT-UserOpenAI · 用户触发的抓取
- ClaudeBotAnthropic · 模型训练
- Claude-UserAnthropic · 用户触发的抓取
- PerplexityBotPerplexity · 答案引擎
- Google-ExtendedGoogle · AI 训练(不影响搜索)
- CCBotCommon Crawl · 开放数据集
- Applebot-ExtendedApple · AI 训练
- Bytespider字节跳动 · 高频抓取
- AmazonbotAmazon · AI 与 Alexa
- FacebookBotMeta · AI 训练
- meta-externalagentMeta · AI 训练(新)
robots.txt
该工具完全在你的浏览器中运行,数据不会离开你的设备,不会上传到任何服务器。
使用方法
- 1选择预设:全部允许、屏蔽 AI 训练爬虫或全部禁止。
- 2逐个微调 AI 爬虫的允许/屏蔽/不设置,并为 User-agent: * 添加 Disallow 路径。
- 3填入 sitemap URL,复制或下载文件放到网站根目录。
robots.txt 生成器
robots.txt 在页面被抓取之前就决定了爬虫的访问权限。除了经典的 User-agent: * 规则,现在还可以逐个控制 AI 爬虫:允许 OAI-SearchBot、PerplexityBot 这类伴随搜索的爬虫,屏蔽 GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider 等训练类爬虫,或自由组合策略。
生成器会自动合并共享同一规则的 User-agent,在适用的地方加入 crawl-delay,并附上 sitemap 指令。把文件放到域名根目录 /robots.txt,再到 Search Console 的 robots 报告里验证。
常见问题
robots.txt 是安全手段吗?
不是。它只是建议:守规矩的爬虫会遵守,但任何人都能读到它——它还会暴露你的私有路径。敏感区域请用身份验证保护,不要指望 Disallow 保平安。
AI 爬虫真的会遵守 robots.txt 吗?
GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot 等主要爬虫都声明支持 robots.txt,但遵守是自愿的,因运营方而异。要硬保证,需在 CDN 或防火墙层拦截。
加了 Disallow 页面为什么还被收录?
禁止抓取不等于禁止收录:如果其他页面链接到该 URL,Google 仍可能在不了解内容的情况下收录它。要让页面退出结果,应允许抓取并改用 noindex meta 标签。
相关工具
嵌入这个工具
一行代码把工具放到你的网站——它在访客的浏览器里运行。
<iframe src="https://zoyku.com/zh/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>100% 本地处理