Qwen2.5-7B-Instructの32K・128K・8Kは何が違う？ YaRNも解説

Qwen2.5-7B-Instructでは、32K、128K、8Kという複数のトークン数が出てくる。数字だけを見ると矛盾しているように見えるが、実際にはそれぞれ役割が違う。

数字	意味
32,768	通常のシーケンス長
131,072	YaRNを使う条件付きの最大シーケンス長
8,192	生成する出力側の最大値

普段32K以内で使うなら、まず32,768を基準にすればよい。32Kを超える長い入力が必要になったときに、YaRNを使った131,072までの拡張を検討する。

通常のシーケンス長は32,768トークン

Qwen2.5-7B-Instructの通常設定では、32,768トークンがシーケンス長の基準になる。

ここでいうシーケンスは入力だけではなく、入力と生成を合わせた全体として考える。たとえば長い文書を入力する場合も、回答として生成する分の余裕を残す必要がある。

131,072という最大値が存在していても、標準設定が128Kという意味ではない。通常の利用ではまず32K以内で考え、必要な場合だけ拡張するのが分かりやすい。

131,072トークンはYaRNを使う条件付き最大値

Qwenは最大131,072トークンまで扱えると案内しているが、32Kを超える場合にはYaRN設定が必要になる。

つまり、131,072は無条件の標準値ではない。「Qwen2.5-7B-Instructは128K対応」とだけ書くと、追加設定なしで最初から128Kを使えるように見えてしまう。

正確には、32,768が通常の範囲で、32Kを超える場合にYaRNを使って最大131,072まで拡張できるという関係だ。

YaRNの具体的な設定方法はランタイムによって異なる。LM Studio、Ollama、llama.cppなどで32K超を使う場合は、利用するバージョンの公式資料で対応方法を確認する必要がある。

8,192トークンは生成側の上限

8,192トークンは、モデルが生成する出力側の最大値として示されている。

これはコンテキストウィンドウ全体の上限ではない。そのため「8Kまでしか入力できない」という意味でも、「128Kすべてを回答として生成できる」という意味でもない。

整理すると、32,768と131,072は入力と出力を含むシーケンス全体の話で、8,192はその中で生成できる出力側の上限になる。

長い入力を使う場合は、コンテキスト全体の枠の中に回答分の余裕も残しておく必要がある。

7.61Bと7,615,616,512も別の表記

Qwen2.5-7B-Instructのモデル規模には、7.61Bという公式表記と、7,615,616,512という確認済みの総パラメータ数がある。

7.61Bはモデル規模を分かりやすく示す名称で、7,615,616,512はより正確な総数だ。7.61Bから逆算して整数値を作ったわけではない。

一方、active parametersの別値は今回の確認範囲にはない。総パラメータ数から推測して補うこともできない。

128Kを使うほど必要メモリも増える

コンテキスト長を伸ばすと、KVキャッシュなどに必要なメモリも増える。そのため、131,072まで対応していることと、手元のPCで128Kを快適に使えることは別問題になる。

必要VRAMやRAMは、量子化、実行環境、GPUとCPUへの配置、実際に設定するコンテキスト長によって変わる。131,072という仕様だけから「VRAM○GBが必要」と固定することはできない。

また、確認済みの公式配布形式はsafetensorsだ。GGUFなど別の配布物を使う場合は、その配布元とランタイム側のコンテキスト設定を別に確認したい。

32K・128K・8Kの使い分け

通常の会話やコード生成で32K以内に収まるなら、YaRNを意識する必要はない。長い文書や大きなコードベースを扱い、32Kでは不足すると分かった時点で128K拡張を検討すればよい。

その場合も、最大131,072まで一気に伸ばすのではなく、実際に必要な長さでメモリ使用量と速度を確認する方が扱いやすい。

Qwen2.5-7B-Instructのトークン数は、32,768が通常のシーケンス長、131,072がYaRN条件付きの最大値、8,192が生成出力側の上限と覚えると混乱しにくい。128Kという一つの数字だけでモデルのコンテキスト仕様を表すのは不十分だ。