Skip to content
Zoyku

robots.txt 生成

AI クローラーのブロック/許可リスト、ボット別ルール、crawl-delay、サイトマップ指示に対応した robots.txt を生成し、コピー・ダウンロードできます。

プリセット

サイト全体のルール(User-agent: *)

AI クローラー

  • GPTBotOpenAI · モデル学習
  • OAI-SearchBotOpenAI · 検索インデックス
  • ChatGPT-UserOpenAI · ユーザー起因の取得
  • ClaudeBotAnthropic · モデル学習
  • Claude-UserAnthropic · ユーザー起因の取得
  • PerplexityBotPerplexity · 検索エンジン
  • Google-ExtendedGoogle · AI 学習(検索には影響なし)
  • CCBotCommon Crawl · オープンデータセット
  • Applebot-ExtendedApple · AI 学習
  • BytespiderByteDance · 高頻度クローラー
  • AmazonbotAmazon · AI と Alexa
  • FacebookBotMeta · AI 学習
  • meta-externalagentMeta · AI 学習(新)

robots.txt

このツールは完全にブラウザ内で動作します。データは端末から出ず、サーバーへアップロードされることはありません。

使い方

  1. 1プリセットを選びます:すべて許可 / AI 学習ボットをブロック / すべて拒否。
  2. 2AI クローラーごとに許可・ブロック・設定なしを選び、User-agent: * 向けの Disallow パスを追加します。
  3. 3サイトマップ URL を入力し、ファイルをコピーまたはダウンロードしてサイトのルートに置きます。

robots.txt 生成

robots.txt はページが取得される前段階でクローラーのアクセスを制御します。従来の User-agent: * ルールに加え、AI ボットを個別に制御できる時代になりました。OAI-SearchBot や PerplexityBot など検索系は許可し、GPTBot・ClaudeBot・Google-Extended・CCBot・Bytespider などの学習系をブロックする、という組み合わせも自由に設定できます。

ジェネレーターは同じルールを持つ User-agent を 1 つのブロックにまとめ、対応されている環境向けに crawl-delay を追加し、サイトマップ指示を末尾に付します。ファイルをドメインのルート(/robots.txt)に置き、Search Console の robots レポートで確認してください。

よくある質問

robots.txt はセキュリティ対策になる?

なりません。あくまでお願いです。ルールを守るクローラーは従いますが、誰でも中身を読めるうえ、プライベートなパスを宣伝してしまいます。機密領域は認証で保護し、Disallow をセキュリティに使わないでください。

AI クローラーは本当に robots.txt を守る?

GPTBot・ClaudeBot・PerplexityBot・Google-Extended・CCBot など主要ボットは robots.txt への対応を明示していますが、遵守は任意で運営者により差があります。確実に防ぐには CDN やファイアウォール層でブロックします。

Disallow したのにページがインデックスされるのはなぜ?

クロールの禁止はインデックスの禁止ではありません。他ページからリンクされていれば、Google は内容を持たないまま URL をインデックスすることがあります。結果から外すには、クロールを許可して noindex メタタグを使います。

関連ツール

SEOのすべてのツール →

XML サイトマップ生成

URL リストを貼り付けるだけで lastmod・セクション別 changefreq・priority 付きの妥当な sitemap.xml を生成。重複も自動削除します。

すべてのツール →

メタタグ生成

title・description・keywords・robots・viewport などのメタタグを生成し、<head> にそのまま貼れる HTML をリアルタイム出力します。

すべてのツール →

canonical タグ生成

正しい rel=canonical リンクタグを生成し、URL の正規化のポイントをおさえて、検索エンジンに意図した 1 つの URL だけをインデックスさせます。

すべてのツール →

ツールを埋め込む

1 行であなたのサイトにツールを。訪問者のブラウザ内で動きます。

<iframe src="https://zoyku.com/ja/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>
100% ローカル処理