Qwen3.8-Flash-Nextの容量と実行条件｜RTX 5090で取得前に見ること

「有効パラメータが約6Bなら、RTX 5090でも余裕があるのでは？」と気になりませんか。

Qwen3.8-Flash-Nextは、125Bの本体に51BのN-gram埋め込みを持つ大型MoEモデルです。約6Bという数字だけでは、必要なメモリ容量は分かりません。

Qwenは、Qwen4へつながる新しい設計としてこのモデルを早期公開し、llama.cppでの対応も案内しています。ただし、それは手元のRTX 5090で動作を確認したという意味ではありません。この記事ではRTX 5090での起動や速度を実測しておらず、32GBのVRAMとシステムRAMへどう分けて置くかを、公開仕様から考えていきます。

この違いを押さえると、GPUの性能だけでなくRAMや保存領域まで見る理由が分かります。まず手元のPCで取得を見送った条件を見てから、公式の数字をモデル全体と一度に使う部分に分けてみましょう。

手元のRTX 5090では、容量の確認で見送った

RTX 5090 32GB・システムRAM 64GBのPCで、取得済みのモデルと配布ファイルを調べました。このPCではFlash-Nextをまだ起動できていません。 保存済みのQwen3.8-27BやQwen2.5-1.5Bは別のモデルなので、その動作をFlash-Nextの結果には置き換えられません。

調べたこと	確認できた結果	今回の判断
確認条件	2026年10月23日の容量確認。Flash-Nextの取得・起動は未実施	起動可否・待ち時間は未確定
取得済みファイル	通常のモデル保存先と隔離環境にFlash-NextのGGUFなし	新規取得が必要
配布されているIQ4_NL	revision 91fb00353e766eb43944ed223665ea4fb87dad47の2分割合計102,048,919,008 bytes、約95.04GiB	保存場所と取得中の余裕が必要
実機のRAM	OS認識で約61.6GiB、確認時の空き約30.6GiB	この配布版を気軽に読み込める余裕はないため、取得・起動を見送る
VRAM	RTX 5090の公称32GB	RAMへの配置を含む起動条件と速度は未確認

これは「どんな量子化・配置でも64GBでは絶対に動かない」と測定した結果ではありません。ディスクを使う配置も含め、実用速度は分かっていません。普段使いの目的で今すぐ選ぶなら、起動結果のある小さいモデルから始める方がおすすめです。Flash-NextのためにRAMを増設する場合も、128GBを保証された最低容量として買うのではなく、使う量子化と配置が一致する実行記録を探してください。

手元で判断するときも、まず「取得する一式を保存できるか」、次に「その一式を使った起動例と自分のRAM・VRAMが合うか」の順に見ます。今回の約95.04GiBと空きRAM約30.6GiBの差は、速度の予測ではなく、すぐ取得へ進まず配置条件を調べる理由です。容量確認だけでも、巨大なダウンロードの前に見送る判断はできます。

以下は確認した配布一覧の一組に統一しています。手元での容量確認記録から、PC側の条件もたどれます。

125B・51B・6Bは、それぞれ何の数字？

項目	公式情報
本体モデル	125B
1回の処理で有効になる規模	約6B
N-gram埋め込み	51B
公式の推論例	262,144トークンの文脈長
入力	テキスト・画像

Bは10億を表し、ここではパラメータ数の単位です。MoEは、複数の専門部分から一部を選んで計算する方式です。そのため、モデル全体が大きくても、一度の処理で有効になる部分は小さくできます。

ただし、使う部分を選べることと、保存する重みが少なくなることは別です。6Bは計算する部分の目安として見て、ローカル実行の容量は、125B本体と51Bの埋め込みを含む配布ファイルから確かめましょう。Qwen公式の構成と対応状況

大きな埋め込み表は、システムRAMへ分けて置ける

51Bという大きさのN-gram埋め込みは、文字や語の並びに対応する情報を参照する表です。Qwenの説明では、この表をホストメモリ、つまりPC側のシステムRAMへ退避し、非同期で先読みできる設計になっています。

この仕組みがあるので、GPUに計算を任せながら、大きな参照表はRAMへ置く構成を考えられます。VRAMに収まらないから即座に候補から外すのではなく、PC全体で置き場所を考えるモデルなんですね。

もちろん、RAMへ置ければ速く動くとまでは言えません。RAMの容量やデータを読み出す速さ、CPU側の処理も影響するため、実用的な速度かどうかは別に測る必要があります。

まず、使うアプリの中身が対応しているかを見る

Qwen公式リポジトリでは、llama.cppがテキストと画像入力の両方に対応したと案内しています。ローカルで動かす実装はありますが、インストール済みのアプリへ、その対応が入っているかは別に確かめましょう。

• llama.cppを使う場合は、Qwen3.8-Flash-Nextに対応する版とGGUFの配布条件を確認する
• LM StudioやOllamaを使う場合は、アプリに同梱された推論バックエンドの対応状況を確認する
• 対応版が分からない場合は、モデル名だけで判断せず、公式配布元の手順と実行環境のバージョンを照合する

Apple Silicon向けにはMLX系の実行経路も案内されています。RTX 5090のPCで試す場合も同じで、「このモデルを読み込む実装がある」ことを確認したあとに、自分のPCでの起動と速度を調べる順になります。

GGUFを選んだら、分割ファイルを両方そろえる

容量を考えるために、取得するGGUFを具体的に一つ選んでみます。対象はggml-org/Qwen3.8-Flash-Next-GGUFのrevision 91fb00353e766eb43944ed223665ea4fb87dad47、IQ4_NLの次の2ファイルです。配布一覧のbytesを合算しています。異なるrevisionの分割ファイルを混ぜないでください。

ファイル	bytes
Qwen3.8-Flash-Next-IQ4_NL-00001-of-00002.gguf	10,945,504
Qwen3.8-Flash-Next-IQ4_NL-00002-of-00002.gguf	102,037,973,504
合計	102,048,919,008（約102.05GB、約95.04GiB）

最初のファイルだけを見ると小さく感じますが、使うには両方が必要です。同じフォルダーへ保存し、起動時には1番目だけを-mへ渡します。保存領域は合計の約102.05GBに加え、取得中の一時領域も確保してください。

llama.cpp v0.7.0のソースには、対応アーキテクチャと配置オプションがあります。これは「v0.7.0が最初の対応版」と特定したものではありません。この版など、対応実装が入ったビルドを選び、--versionで実際に使う版を記録しましょう。

.\llama-server.exe --version
.\llama-server.exe -m .\models\Qwen3.8-Flash-Next-IQ4_NL-00001-of-00002.gguf --gpu-layers 0 -c 8192 --host 127.0.0.1 --port 8080

このコマンドは、まずCPU側へ配置してモデルを読み込めるか調べるための起動例です。RTX 5090向けの高速化設定でも、動作を確認済みの構成でもありません。また、画像用のmmprojを指定していないので、このまま画像入力の確認には使えません。

RAMは、重みを置く分だけでなく、推論を動かすプログラム、会話の情報を保持するKVキャッシュ、OSや他アプリの分も必要です。128GBは検討候補であり、実測した最低容量ではありません。空きRAMが足りなければ、別の量子化や小さいモデルへ戻しましょう。

CPU配置での起動を確認できたら、GPUへ置く量を少しずつ増やし、その都度RAM・VRAMの消費と速度を記録します。一度に設定を大きく変えない方が、動かなくなった条件を見つけやすくなります。

RTX 5090では、32GBの外へ何を置くかを考える

RTX 5090のVRAMは32GBです。125B本体と51B埋め込みを、標準的な重みのまますべて載せる想定では選べません。上で挙げたGGUFも、合計のファイル容量は32GBを大きく上回っています。

試すなら、対応する低ビット量子化を選んだうえで、GPUへ載せる部分とRAMへ置く部分を調整します。VRAMに余りがあっても、RAMが足りなければモデル全体を扱えないことがあります。

ただし、「ファイルが約102GBだからRAMも同じ量で足りる」とは計算できません。必要量はGGUFと実行設定で変わるため、保存容量を起点にしつつ、実行中の使用量と空きを確かめていきましょう。

最初は8K〜32Kで、待てる速度かを確かめる

公式の推論例には262,144トークンの文脈長が指定されています。長い入力を扱える設計は気になりますが、その数字を手元のPCへそのまま設定する必要はありません。文脈を長くするとKVキャッシュなどの実行時メモリも増え、モデル本体を置いたあとの余裕が減っていきます。

まず8K〜32K程度から始めることを提案します。これはこのPCで実測して得た最適値ではなく、最初から最大の文脈長を使わず段階的に確かめるための目安です。上の起動例も-c 8192にしています。

安定して動くかを確かめ、もっと長い入力が必要なら広げてみましょう。その際は、次の条件と結果を一緒に残します。

• 使用したGGUFと量子化
• システムRAMとGPU VRAMの容量
• GPUへ載せた割合と文脈長
• 入力処理速度と生成速度
• 実行中の最大RAM・VRAM使用量

起動に成功しても、長い入力を読む時間や回答を待つ時間が用途に合わなければ、毎日使うのは難しいかもしれません。この記録があると、「動いた」で終わらず、普段の仕事で待てるかまで判断できます。この記事ではRTX 5090の起動・速度を実測していないため、その判断は手元で確かめる範囲として残しています。

大きな構造を試したいか、手軽に使いたいかで選ぶ

大容量RAMを用意し、CPUとGPUに分けて大きなモデルを扱ってみたいなら、Qwen3.8-Flash-Nextは検証候補になります。新しいモデル構造やllama.cppの対応を追う目的なら、配置を変えて消費と速度を比べることにも意味があります。

一方、RTX 5090の32GB VRAM内で完結させ、なるべく手軽に速い応答を得たいなら、より小さな量子化モデルから始める方が導入しやすいでしょう。GPUが高性能でも、置ける容量まで増えるわけではありません。

まずは、対応版の実行環境、使うGGUFの容量、空きRAMを照合してみてください。準備できるならCPU配置で読み込みを調べ、GPU配置と文脈長を少しずつ調整します。公式の対応案内と、自分のPCでの動作・速度の確認を分けて進めると、試す価値があるかを無理なく判断できます。