LLMの32K・128K・256K・1Mコンテキストはどう選ぶ？

LLMの仕様には32K、128K、256K、1Mといったコンテキスト長が並ぶが、数字が大きいモデルほど常に使いやすいわけではない。必要なのは、自分の入力と会話履歴、生成する回答を収められる長さだ。

コンテキストを大きくすると長い資料を一度に渡せる一方、KVキャッシュなどの実行時メモリも増える。最大値をそのまま設定するより、用途を満たす長さから始める方が扱いやすい。

32K・128K・256K・1Mは用途の目安

コンテキストウィンドウは、モデルが一度に扱えるトークン列の範囲だ。入力文書、システム指示、会話履歴、生成する回答などが同じ枠を使う。

32K、128K、256K、1Mという区切りは、扱える情報量の大きさを比較する目安にはなる。ただし、文章のトークン数は言語や内容で変わるため、「128Kなら文書○ページ」という固定換算はできない。

また、長いコンテキストを設定するだけで回答品質が上がるわけでもない。必要のない履歴や資料まで残せば、メモリを使うだけでなく、処理時間やモデルの応答にも影響し得る。

通常対応と条件付き拡張を分ける

モデルカードに1Mと書かれていても、その値が通常設定の上限とは限らない。

たとえばQwen3.8-27Bは通常262,144トークンで、1,000,000トークンはYaRNを使う条件付き拡張として案内されている。Qwen3.6-35B-A3Bも通常262,144トークンで、約1,010,000トークンは条件付きの拡張だ。

一方、gpt-oss-20bは131,072トークン、Gemma 4 12B ITは262,144トークンが通常の最大コンテキストとして確認できる。

この違いから分かるのは、「1M対応」という短いラベルだけでは不十分ということだ。確認したいのは次の3点になる。

• 追加設定なしで使える通常の最大値
• YaRNなどを使った条件付き最大値
• 使うランタイムがその拡張方法に対応しているか

Qwen3.6-35B-A3Bでは、開発元が複雑なタスクで128K以上を推奨する案内もしているが、これはそのモデルと用途に対する説明だ。すべてのLLMで128K以上が必要という意味ではない。

ランタイムの初期値はモデルの最大値ではない

モデルが256Kに対応していても、ランタイムが最初から256Kを割り当てるとは限らない。

Ollamaの現行ドキュメントでは、VRAM容量に応じた初期コンテキスト値が案内されている。24GiB未満では4K、24〜48GiBでは32K、48GiB以上では256Kという区分だ。

これはOllama側の初期設定であり、モデルカードの最大コンテキストとは別の数字になる。モデルが256K対応でもOllamaが32Kから始めることはあり得るし、設定を大きくできても実際の用途でそこまで必要とは限らない。

Ollama自身もコンテキストを増やすと必要メモリが増えると案内している。ランタイムの設定値とモデルの仕様は別々に確認したい。

最大生成長も別に確認する

コンテキストウィンドウと、1回の回答で新しく生成できる最大トークン数は同じではない。

長い文書を読み込むために128Kのコンテキストを使っても、128Kすべてを回答として生成できるとは限らない。逆に、生成上限を増やしても過去の入力を保持できるコンテキスト全体が広がるわけではない。

Qwen2.5-7B-Instructでは、通常32,768、YaRN条件付き最大131,072のシーケンス長と、8,192の生成上限が別に定義されている。詳しくはQwen2.5-7B-Instructの32K・128K・8Kの違いで確認できる。

必要な長さは実際の作業から決める

コンテキストを選ぶときは、最大値ではなく一度の作業で入れる情報を考える。

• 入力する文書やコード
• システム指示と質問
• 残しておく会話履歴
• 生成する回答のための余裕
• 途中で追加する資料

これらが32Kに収まるなら、256Kや1Mを常時設定する必要はない。複数の長文資料や大きなコードベースを一度に扱うため32Kでは不足するなら、128Kや256Kへ広げる理由が生まれる。

約1Mの条件付き拡張は、その長さを本当に必要とし、モデルとランタイムの追加設定を満たせる場合に検討すればよい。

長くするほどメモリ条件も確認する

コンテキストを増やすと、モデル本体とは別にKVキャッシュなどのメモリ使用量が増える。正確な増加量はモデル構造、キャッシュ精度、ランタイム、バッチなどで変わるため、「128KならVRAM○GB」という共通表は作れない。

長いコンテキストが必要なら、まず必要な長さで起動し、実際のVRAM・RAM使用量と待ち時間を見る。足りない場合にキャッシュ設定、量子化、オフロード、ハードウェアを順に検討する方が無理がない。

32K・128K・256K・1Mはモデルの優劣を決める順位ではない。必要な入力を収められ、手元の環境で安定して使える最小の長さを選ぶための数字として考えるのが基本になる。