技術
GPTBot
OpenAIがWeb上のコンテンツを収集するために使用するクローラー。
詳細解説
robots.txtでGPTBotのアクセスを制御できる。LLMO対策としてGPTBotのクロールを許可することで、ChatGPTの回答に自社コンテンツが引用される可能性が高まる。User-Agentは「GPTBot」で、IPアドレス範囲はOpenAIの公式ドキュメントで公開されている。
活用例・実践ポイント
1
robots.txtでGPTBotのアクセスを許可する設定を追加
2
サーバーログでGPTBotのクロール状況を監視