コンテキストウィンドウ（Context Window）とは｜意味・トークン・Lost in the Middleとの関係
コンテキストウィンドウ（Context Window）とは、LLM（大規模言語モデル）が1回の推論で処理できるテキストの最大量をトークン数で表したものです。
英語表記：Context Window（読み方はコンテキストウィンドウ）
AIは会話の中で「一度に見られる範囲」が決まっていて、その範囲内の情報を使って回答を生成します。その範囲の上限を指す言葉です。
この言葉の基本
コンテキストウィンドウという言葉の読み方・分野・中に入るもの
| 項目 | 内容 |
|---|---|
| 英語表記 | Context Window |
| 読み方 | コンテキストウィンドウ |
| 分野 | LLM・生成AI |
| 大きさの単位 | トークン |
| 中に入るもの | システムプロンプト、会話履歴、ユーザーのメッセージ、RAGで取得したドキュメントのチャンク |
| 混同しやすい言葉 | AIの記憶 |
コンテキストウィンドウという言葉の意味
コンテキスト（context）は「文脈・背景情報」のことです。LLMは入力されたテキスト全体をコンテキストとして受け取り、それに基づいて回答を生成します。コンテキストウィンドウは、このコンテキストに入れられる情報量の上限を指します。
コンテキストウィンドウに入るのは、ユーザーのメッセージだけではありません。システムプロンプトや会話履歴も同じ枠に入ります。RAGを使うシステムでは、Retrievalで取得したドキュメントのチャンクもコンテキストに追加されます。これらがすべて、コンテキストウィンドウの枠内に収まる必要があります。
似た言葉との関係
トークン
トークンは、AIがテキストを処理するときの単位です。コンテキストウィンドウの大きさは、このトークンの数で表します。
チャンク・Retrieval
RAGでは、Retrievalで取得したチャンクがコンテキストウィンドウに渡されます。複数のチャンクは順番に並べて渡されます。取得されたチャンクがコンテキストウィンドウに収まらなければ、AIはその内容を回答に使えません。コンテキストウィンドウは、取得したチャンクの受け皿にあたります。
Lost in the Middle
コンテキストウィンドウに入った情報が、すべて同じように使われるとは限りません。Liuら（2023年）の研究「Lost in the Middle: How Language Models Use Long Contexts」では、必要な情報が長い入力の先頭か末尾にあるときに正答率が高く、中ほどにあるときに大きく下がる傾向が示されました。この現象が Lost in the Middle と呼ばれています。
うたわれている大きさと、実際に使いこなせる長さの差を調べた研究もあります。NVIDIAの研究者らによるベンチマーク「RULER」では、32Kトークン以上のコンテキストをうたうモデルのうち、32Kの長さで満足な性能を保てたのは半数でした。
GEO対策における位置づけ
RAGを使うAI検索では、取得されたページの一部がチャンクとしてコンテキストウィンドウに入り、回答の生成に使われます。コンテキストウィンドウは、AIがコンテンツを参照できる範囲の上限を表す、仕組みの側の言葉です。大きさはサイトを運営する側からは変えられません。
コンテキストウィンドウが、AI検索の仕組みの中でどこに当たるかは、AI検索の仕組みとはで解説しています。
よくある誤解
コンテキストウィンドウが大きければ、すべての情報が参照される
大きくなっても、ウィンドウ内の情報がすべて均等に参照されるわけではありません。上で紹介した Lost in the Middle の研究では、中ほどに置かれた情報が使われにくい傾向が示されています。
コンテキストウィンドウはAIの記憶である
コンテキストウィンドウは1回の推論で処理できる情報の範囲で、会話をまたいで続く「記憶」そのものではありません。
長いページはコンテキストウィンドウを超えるので不利
RAGではコンテンツをチャンク単位で取得するため、長いページの全体がコンテキストウィンドウに入る必要はありません。
コンテキストウィンドウに関連する用語
コンテキストウィンドウに関連する用語と、その意味
| 用語 | 意味 |
|---|---|
| トークン | AIがテキストを処理する単位。コンテキストウィンドウの大きさはトークン数で表す |
| チャンク | RAGでコンテンツを取得する単位。取得されたチャンクがコンテキストウィンドウに渡される |
| Retrieval | 質問に関連するコンテンツを検索・取得する処理 |
| RAG | 取得した情報をLLMによる生成に使う仕組み |
| 推論（Inference） | LLMが回答を生成する処理。コンテキストウィンドウに入った情報をもとに行われる |
| Lost in the Middle | 長い入力の中ほどにある情報が使われにくくなる現象 |
| Grounding | AIの回答を外部の情報などの根拠に基づかせること |
よくある質問
コンテキストウィンドウの大きさは何で表しますか？
トークンの数で表します。文字数や単語数ではありません。
コンテキストウィンドウとチャンクサイズはどう関係しますか？
チャンクサイズは、RAGシステムがコンテンツを分割するときの単位の大きさです。チャンクはコンテキストウィンドウに渡されるので、大きすぎると枠の多くを占め、ほかのチャンクが入りにくくなります。小さすぎると文脈が失われることがあります。適したサイズはRAGシステムの設計によって違います。
会話が終わると、コンテキストウィンドウの中身はどうなりますか？
コンテキストウィンドウは1回の推論で処理する範囲なので、その中身が次の会話にそのまま持ち越されるわけではありません。会話をまたいで情報を残すかどうかは、AIサービスの仕様によります。