Trình tạo robots.txt
Dựng robots.txt với danh sách chặn hay cho phép bot AI, quy tắc theo từng bot, crawl-delay và chỉ thị sitemap — rồi sao chép hay tải xuống.
Presets
Site-wide rules (User-agent: *)
AI crawlers
- GPTBotOpenAI · model training
- OAI-SearchBotOpenAI · search index
- ChatGPT-UserOpenAI · user-triggered fetch
- ClaudeBotAnthropic · model training
- Claude-UserAnthropic · user-triggered fetch
- PerplexityBotPerplexity · answer engine
- Google-ExtendedGoogle · AI training (not Search)
- CCBotCommon Crawl · open dataset
- Applebot-ExtendedApple · AI training
- BytespiderByteDance · aggressive crawler
- AmazonbotAmazon · AI and Alexa
- FacebookBotMeta · AI training
- meta-externalagentMeta · AI training (new)
robots.txt
Công cụ này chạy hoàn toàn trong trình duyệt của bạn. Dữ liệu không bao giờ rời khỏi thiết bị — không được tải lên bất kỳ máy chủ nào.
Cách sử dụng
- 1Chọn một preset: cho phép tất cả, chặn bot huấn luyện AI hay chặn hết.
- 2Tinh chỉnh từng crawler AI bằng Allow, Block hay không quy tắc, và thêm đường dẫn Disallow cho User-agent: *.
- 3Thêm URL sitemap, rồi sao chép hay tải file về thư mục gốc trang web.
Trình tạo robots.txt
robots.txt kiểm soát quyền truy cập của crawler trước khi trang nào được tải. Ngoài quy tắc User-agent: * kinh điển, giờ đây bạn quyết định từng bot AI: cho phép crawler gần tìm kiếm như OAI-SearchBot và PerplexityBot, chặn crawler huấn luyện như GPTBot, ClaudeBot, Google-Extended, CCBot và Bytespider, hay trộn chính sách riêng của bạn.
Bộ tạo gộp các user-agent dùng chung quy tắc, thêm crawl-delay ở những nơi được tôn trọng, và nối chỉ thị sitemap của bạn. Sao chép file về thư mục gốc tên /robots.txt và xác minh trong báo cáo robots của Search Console.
Câu hỏi thường gặp
robots.txt có phải biện pháp bảo mật?
Không. Nó chỉ mang tính khuyến nghị: crawler tuân thủ sẽ nghe, nhưng ai cũng đọc được nó — và nó quảng cáo các đường dẫn riêng của bạn. Bảo vệ khu vực nhạy cảm bằng xác thực; đừng bao giờ trông vào Disallow để bảo mật.
Bot AI có thực sự tôn trọng robots.txt?
Những bot được ghi nhận chính thức — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — tuyên bố hỗ trợ robots.txt, nhưng việc tuân thủ là tự nguyện và khác nhau theo nhà vận hành. Muốn đảm bảo chắc chắn, hãy chặn ở tầng CDN hay tường lửa.
Vì sao trang tôi vẫn được lập chỉ mục sau khi Disallow?
Chặn thu thập không phải chặn lập chỉ mục: nếu trang khác liên kết tới URL đó, Google vẫn có thể lập chỉ mục mà không có nội dung. Muốn gỡ trang khỏi kết quả, hãy cho phép thu thập và dùng thẻ meta noindex thay thế.
Công cụ liên quan
Trình tạo XML Sitemap
Dán danh sách URL và nhận sitemap.xml hợp lệ với lastmod, changefreq và priority theo từng phần — khử trùng lặp, sẵn sàng nộp.
Tất cả công cụ →
Trình tạo thẻ Meta
Tạo thẻ meta title, description, keywords, robots và viewport với HTML trực tiếp dán thẳng vào <head> của bạn.
Tất cả công cụ →
Trình tạo thẻ Canonical
Tạo đúng thẻ liên kết rel=canonical và học cách chuẩn hóa URL để công cụ tìm kiếm lập chỉ mục đúng phiên bản bạn muốn.
Tất cả công cụ →
Nhúng công cụ này
Đưa công cụ này vào trang của bạn bằng một dòng — nó chạy trong trình duyệt của khách.
<iframe src="https://zoyku.com/vi/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>