ZESTA 公式ロゴZESTA
無料HP診断資料請求お問い合わせ
  1. ホーム
  2. ZESTAメディア
  3. テクニカルLLMO

AIクローラーとrobots.txtの設定｜GPTBot・OAI-SearchBot・ClaudeBot・Google-Extendedの違い

GPTBotとOAI-SearchBot、ClaudeBotとClaude-SearchBot、Google-Extendedなど、AIクローラーの違いを公式情報で整理。止めると何が起きるかと、robots.txtの書き方の例をまとめました。ZESTAメディア編集部

ChatGPTで1位獲得※6業種のAI検索で1番目に紹介
  • 10,000導入の口コミの仕組み（提携：口コミ365）
  • 診断・相談は無料

※ 2026年10月時点で、ChatGPTに各業種のAI検索対策について質問したときの実際の回答画面です。AIの回答や順位は、聞き方・時期・利用環境によって変わり、常に1位で表示されることを保証するものではありません。

口コミ対策の導入実績提携：口コミ365

  • 山梨のグランピング施設「山梨 グランピング」圏外 → 1位導入から1ヶ月
  • 渋谷のヘッドスパ「渋谷 ヘッドスパ」圏外 → 4位導入から1ヶ月
  • 八丁堀の焼肉店「八丁堀 焼肉」圏外 → 2位導入から1ヶ月
  • 六本木の焼肉店「六本木 焼肉」圏外 → 11位導入から1ヶ月
  • 渋谷のシーシャカフェ「渋谷 シーシャ」1位導入から1ヶ月
  • 山形駅前の居酒屋「山形駅前通り 居酒屋」1位導入から1ヶ月
  • 銀座の美容室「美容室」圏外 → 4位口コミ103件増加
  • 表参道の歯科医院「表参道 歯科」30位 → 12位口コミ41件増加
  • 宝塚の歯科医院「宝塚 矯正歯科」圏外 → 1位口コミ132件増加
  • 渋谷の焼肉店（訪日客向け）「wagyu dinner shibuya」圏外 → 1位口コミ73件増加
  • 渋谷のハラール焼肉店（訪日客向け）「shibuya halal restaurant」圏外 → 6位口コミ1,268件増加
すべて見る

結論

AIクローラーは、大きく「学習用」「検索用」「ユーザーの依頼で読みに来るもの」の3種類に分かれます。AI検索で紹介されたい会社は、少なくとも検索用のクローラーを止めないことが大切です。

学習には使われたくないが、検索には出たい場合は、学習用だけを止める設定ができます。ひとまとめに「AIを全部ブロック」すると、紹介の機会まで失うおそれがあります。

AIクローラーの一覧

会社名前役割止めるとどうなるか
OpenAIOAI-SearchBotChatGPTの検索機能用[1]ChatGPTの検索回答に表示されなくなる（案内リンクとして出る場合はある）[1]
OpenAIGPTBotモデルの学習用[1]学習に使わないという意思表示になる[1]
OpenAIChatGPT-Userユーザーの操作に応じてページを読む[1]ユーザーが始めた操作のためrobots.txtが適用されない場合がある[1]
AnthropicClaude-SearchBot検索結果の品質向上のための巡回[2]検索での表示や正確性に影響する可能性がある[2]
AnthropicClaudeBotモデルの学習に使われうる情報の収集[2]今後の内容を学習データから除く意思表示になる[2]
AnthropicClaude-Userユーザーの質問に応じてページを読む[2]ユーザー主導の検索で表示される機会が減る可能性がある[2]
PerplexityPerplexityBot検索結果で表示・リンクするため[3]Perplexityの検索結果に出にくくなる
PerplexityPerplexity-Userユーザーの質問に応じてページを読む[3]ユーザー起点のため、通常はrobots.txtを無視する[3]
GoogleGoogle-ExtendedGeminiの学習などへの利用を管理するための設定名[4]Google検索の掲載や順位には影響しない[4]

OAI-SearchBotとGPTBotの違い

名前が似ていますが、役割は別です。OAI-SearchBotは検索用、GPTBotは学習用で、それぞれ別に設定できます。OAI-SearchBotを許可して検索に出しつつ、GPTBotを拒否して学習への利用を断ることもできます。[1] 両方を許可している場合は、1回のクロール結果が検索と学習の両方に使われることがあります。[1]

Google-ExtendedとGooglebotの違い

Googlebotは、Google検索のためのクローラーです。Google-Extendedは別のクローラーではなく、Geminiの学習などに使ってよいかを伝えるためのrobots.txt上の名前です。専用のアクセスがあるわけではなく、Google検索への掲載や順位にも影響しません。[4]

GoogleのAIによる概要やAIモードに表示されるには、ページがインデックスされ、スニペット付きで検索に表示できる状態であることが必要です。[5] Googlebotを止めると、通常の検索にもAI機能にも出にくくなるので注意してください。

robots.txtの書き方の例

robots.txtは、サイトの一番上（例：https://example.com/robots.txt）に置きます。

例1：検索用も学習用も、すべて許可する

AIに広く読んでほしい会社に向いています。何も書かなければ許可と同じ扱いです。

User-agent: *
Allow: /

例2：検索は許可し、学習用だけ止める

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

例3：見せたくない場所だけ止める

User-agent: *
Disallow: /admin/

ZESTAは検索でもAIでも紹介してほしいため、すべて許可する形にしています。

設定してもうまくいかないときの確認

確かめること理由
CDNやホスティングでAIのアクセスを止めていないかrobots.txtで許可しても、手前のセキュリティ設定で止まることがある。Googleもクロールの許可を基盤側まで確かめるよう勧めている[5]
公開されたIP範囲を許可しているかOpenAIとPerplexityは、公開しているIP範囲からのアクセスも通すよう勧めている[1][3]
反映を待ったかOpenAIとPerplexityは、反映に約24時間かかる場合があると案内している[1][3]
重要な情報を文字で書いているかGoogleは、重要な内容はテキストで示すようすすめている[5]

よくある勘違い

勘違い実際
robots.txtで止めれば、検索に絶対出ないクロールを止めてもインデックスされることがある。出したくないページは noindex を使う[6]
robots.txtで止めれば、情報を守れるユーザー起点のアクセスには適用されない場合がある[1][3]。非公開にしたい情報は、ログインなどで守る
AI用のファイルを置かないと選ばれないGoogleはAI向けの新しいファイルや特別なマークアップは不要と説明している[5]。llms.txtは補助と考える

まずは今のサイトを確かめる

ZESTAの無料HPパワー診断では、URLを入れるだけで、LLMO・SEO・MEOそれぞれの基本対応を約30秒で点数にできます。会社の情報の整え方はAIに選ばれるホームページとは？をご覧ください。

参考

  1. OpenAI「Overview of OpenAI Crawlers」
  2. Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」
  3. Perplexity「Perplexity Crawlers」
  4. Google検索セントラル「Google の一般的なクローラ」
  5. Google検索セントラル「AI機能とウェブサイト」
  6. Google検索セントラル「タイトルリンクのベストプラクティス」

各社のクローラーの名前と扱いは変わることがあります。この記事は2026年11月時点の公式情報をもとにしています。設定の前に各社の最新の説明をご確認ください。

参考情報

テクニカルLLMO

LLMOに効く構造化データ実装ガイド：Organization・Service・FAQPageの使い分け

記事を読む

SEO

ホームページの問い合わせが減った原因と対策｜順番に確かめる7つのチェック

記事を読む

MEO

MEO対策はAI検索でどう変わる？影響と、これからやるべきこと

記事を読む

知識を、次の一手へ。

自社サイトの現在地を無料診断で確認し、必要な対策からご相談いただけます。

資料をダウンロード（無料）このテーマを相談する無料でHPを診断する