技術
トークン
Token
LLMがテキストを処理する際の最小単位。単語や文字の断片に分割される。
詳細解説
日本語は1文字あたり約1〜3トークンに変換される。LLMの入力・出力にはトークン数の上限があり、コンテンツの長さや構造に影響する。GPT-4の場合、入力は最大128,000トークンまで対応。コンテンツが長すぎるとトークン上限に達して情報が切り捨てられる可能性がある。
活用例・実践ポイント
1
コンテンツの長さをトークン数を意識して最適化
2
重要な情報をコンテンツの冒頭に配置してトークン制限の影響を軽減