技術
robots.txt
Webサイトのルートに設置するテキストファイル。クローラーのアクセスを制御する。
詳細解説
AI検索エンジンのクローラー（GPTBot、ClaudeBot等）のアクセスを許可・制限する設定が可能。LLMO対策ではAIクローラーへのアクセスを許可することが重要。2025年にはOpenAIがGPTBotのクロール対象を拡大し、robots.txtの設定がLLMO対策の第一歩として注目されている。
活用例・実践ポイント
1
robots.txtでGPTBot、ClaudeBot、PerplexityBotのアクセスを許可
2
クロール対象外にすべきページ（管理画面等）を適切に制限