Google-ExtendedとGooglebotの違い：生成AI利用の設定を理解する

Google-ExtendedとGooglebotの違い：生成AI利用の設定を理解する

生成AIの急速な普及に伴い、企業は自社コンテンツの検索エンジンへの掲載と、AIモデルの学習利用を個別に管理する戦略が求められています。本記事では、GooglebotとGoogle-Extendedの技術的な違いを整理し、B2Bマーケターが実践すべきrobots.txtの設定方法を解説します。

GooglebotとGoogle-Extendedの根本的な役割の違い

**Googlebot**は、Google検索のインデックスを作成するためにWebサイトを巡回する標準的なクローラーの総称です。これに対し、**Google-Extended**は2023年に導入された「スタンドアロン製品トークン」であり、特定のAIモデル（GeminiやVertex AIなど）によるコンテンツの利用を制御するために使用されます [1]。

最大の違いは、Google-Extended自体が独立したクローラーとして動作するわけではないという点です。Google-Extendedの設定は、Googlebotなどが収集したデータをAI学習や「グラウンディング（回答の根拠としての利用）」に使用することを許可するかどうかの「意思表示」として機能します [1]。

| 項目 | Googlebot | Google-Extended |

| :--- | :--- | :--- |

| **主な目的** | Google検索のインデックス作成 | AIモデル（Gemini等）の学習・利用制御 |

| **検索順位への影響** | 直結する（拒否すると検索結果に出ない） | 影響しない（拒否しても検索結果には残る） |

| **実体** | HTTPリクエストを行うクローラー | robots.txt内での制御用トークン |

| **対象範囲** | Google検索、Discover等 | Gemini Apps、Vertex AI API等 |

robots.txtによる具体的な制御方法と注意点

Google-Extendedを制御するには、robots.txtファイルに特定の記述を追加します。以下の設定を行うことで、Google検索への掲載を維持したまま、AIモデルによるコンテンツの二次利用を拒否することが可能です [2]。

```text

User-agent: Google-Extended

Disallow: /

```

ここで注意すべきは、上位のクローラーであるGooglebotを拒否（Disallow）した場合、Google-Extendedの設定に関わらず、すべての収集が停止される点です。また、Google-ExtendedはあくまでAIモデルの学習やAPI経由の利用を制限するものであり、検索結果画面に表示される「AI Overviews（AIO）」を直接停止するものではないことに留意してください [3]。

AI Overviews（AIO）への影響とGEO戦略

多くのマーケターが誤解しやすい点ですが、Google検索の検索結果に表示されるAI Overviews（AIによる概要）は、Google検索の機能の一部として提供されています。そのため、Google-Extendedで拒否設定を行っても、AI Overviewsに自社サイトの情報が引用される可能性は残ります [3]。

AI Overviewsへの露出を制御したい場合は、`nosnippet` や `max-snippet` といった従来の検索用メタタグを使用する必要があります。ただし、これらは通常の検索結果のプレビュー表示も制限するため、検索エンジン最適化（SEO）および生成AI最適化（GEO）の観点からは慎重な判断が求められます。

B2B企業が取るべき設定戦略

B2B企業にとって、自社の専門知識は重要な資産です。基本的にはGooglebotのアクセスを許可して検索トラフィックを確保しつつ、独自の調査データやホワイトペーパーがAIに「学習」されることを避けたい場合にのみ、Google-Extendedを活用するのが現実的な戦略と言えます。

よくある質問

**Q: Google-Extendedをブロックすると、Google検索の順位は下がりますか？**

A: いいえ、下がりません。Googleの公式ドキュメントでは、Google-Extendedの設定が検索のインデックス登録やランキングに影響を与えることはないと明記されています [1]。

**Q: 他のAIクローラー（GPTBotなど）もGoogle-Extendedで拒否できますか？**

A: できません。Google-ExtendedはGoogle独自のトークンです。OpenAIのGPTBotやCommon Crawlなど、他社のAIクローラーに対しては個別のUser-agent設定が必要です。

参考資料

[1] Google's common crawlers | Crawling infrastructure

[2] Robots.txt Introduction and Guide | Google Search Central

[3] Generative AI in Search: Let Google do the searching for you