Nemotron 3.5 LightningはRTX 5090で動く？ 30B-A3B・NVFP4・1M コンテキストを整理

このモデルは何か

NVIDIA Nemotron 3.5 Lightning 30B-A3Bは、30B 総 / 3B 有効のMoE ハイブリッドモデルだ。NVIDIAは長時間稼働するエージェント、サブエージェント、ツール呼び出しなど大量の反復処理を主用途に挙げている。

ローカルAI目線で特に重要なのは、NVIDIA公式Model カードがGeForce RTX 5090を対応ハードウェアとして明記している点だ。

さらに、推論向けNVFP4 チェックポイントはNVIDIAの技術記事で約22GBまで圧縮されたと説明されている。32GB VRAMのRTX 5090で「モデル本体を載せる現実的な候補」に入るため、単なる30Bモデル紹介より、GPU購入・常駐エージェント構築の判断材料として価値が高い。

ただし、ここで二つの数字を混同しないことが重要だ。

3B active parameters
≠
3Bモデル相当のweight容量

Nemotron 3.5 Lightningは30B 総のモデルであり、1トークンあたり3B程度を有効にする。NVFP4版が約22GBまで圧縮されているから32GB GPUで検討しやすいのであって、「3B 有効だから軽い」のではない。

MoEの数字の読み方は、MoEの総パラメータと有効パラメータの違いでも整理している。

基本仕様

NVIDIA公式情報をローカル実行の判断に必要な項目だけ抜き出すと、次のようになる。

項目	公式情報
総パラメータ	30B
Active パラメータ	3B
アーキテクチャ	Mamba-2 + MoE + Attention ハイブリッド
最大コンテキスト	1M トークン
主用途	長時間稼働エージェント / サブエージェント処理 / ツール利用
公式チェックポイント	NVFP4 / BF16
RTX 5090	対応ハードウェアに明記
ライセンス	OpenMDW 1.1
日本語	対応言語に明記

NVIDIAはNVFP4版について、RTX 5090を含むBlackwell系GPU、Hopper、Ampere向けの実行経路を案内している。

このモデルは「最大性能を狙う巨大LLM」というより、エージェントが何度も呼び出す実行層の効率化を狙ったモデルとして見ると分かりやすい。

このモデルでできること・どんなPCで動かせるか

NVFP4版が約22GBなのが大きい

NVIDIAは2026年8月17日の技術記事で、Nemotron 3.5 Lightningの推論最適化版NVFP4 チェックポイントを約22GB、高精度版を約66GBとして説明している。

これは実行時のVRAMピークを22GBと保証する数字ではない。モデル重み以外にも実行時バッファ、KVキャッシュ、CUDA コンテキストなどが必要になる。

それでも、重み配布ファイルが32GBを大きく超えるモデルと比べれば、RTX 5090 32GBで検討しやすい。

24GB GPUではどうか

22GBという重み量だけを見ると24GB GPUでも近いが、余白が小さい。実行時追加負荷やコンテキスト用メモリを考えると、「公式配布ファイルが22GBだから24GB GPUで余裕」とは言えない。

24GB級GPUで使えるかは実行環境、コンテキスト、オフロードの条件を確認する必要がある。

RTX 5090 32GBではどうか

32GBなら重みに対して余白を取りやすく、しかもNVIDIA自身が対応ハードウェアとしてRTX 5090を明記している。

このため、Nemotron 3.5 Lightningは「RTX 5090を持っているローカルエージェント利用者が実際に試す価値のある30B級モデル」と評価しやすい。

GPU容量の一般的な判断は、ローカルAI向けGPUのVRAM 16GB・24GB・32GBの違いも合わせて見たい。

1M コンテキストはRTX 5090で1M使えるという意味ではない

Nemotron 3.5 Lightningは最大1M トークンコンテキストを公式に掲げている。

ただし、Model カード上でもハードウェアと精度によって検証済みコンテキストは異なる。たとえば大容量データセンターGPUでは1Mが検証される一方、単体GPUではメモリ上限が先に効く構成も示されている。

ローカルPCでは、

32K
↓
64K
↓
128K
↓
必要ならさらに拡張

のように必要な長さから段階的に増やす方がよい。

エージェント用途では、最大コンテキストを確保することより、長時間常駐させたときのVRAM余裕と応答速度を保つことの方が実用上重要な場合が多い。

3B 有効なら3B級の速度になるのか

ここも単純化しない方がよい。

MoEでは毎トークンで全30Bを密な構造の計算するわけではないため、計算量を抑えられる。一方、Mamba-2、Attention、MoE ルーティング、メモリ転送、実行環境実装などが速度に影響する。

したがって、

3B 有効 = 一般的な3B 密な構造のモデルと同じトークン/s

とは考えない。

NVIDIAは同モデルを低遅延・高処理性能のエージェント実行向けとして設計しているが、公開されている性能値はNVIDIA側の測定条件に基づく。独自実測とは分けて扱う必要がある。

選ぶときの判断

どんな用途と相性がよいか

Nemotron 3.5 Lightningの狙いはかなり明確だ。

常駐エージェントの実行モデル

上位モデルが計画を作り、Nemotron 3.5 Lightningがツール呼び出し、確認、定型的な処理を大量に回す構成だ。

毎ステップで巨大モデルを呼ぶより、軽い実行モデルを常駐させる方が遅延と消費電力を抑えやすい。

サブエージェント

複数エージェントを並列で動かす場合、全サブエージェントへ大型モデルを割り当てるとVRAMや計算資源を消費する。

30B 総 / 3B 有効の設計とNVFP4版は、こうした反復タスク用の候補になる。

RAGやツール呼び出し

NVIDIAはRAG、チャット、指示追従も想定用途に含めている。日本語も対応言語に明記されているため、日本語環境でのローカルエージェント候補にも入る。

ただし、特定の日本語ツール定義での成功率は自分のタスクで測る必要がある。

BF16版とNVFP4版は役割が違う

NVIDIAはBF16版を参考重みとして位置づけ、追加学習、蒸留、独自量子化などの起点にすることを想定している。

一方、RTX 5090などで推論を目的に使うならNVFP4版が先に候補になる。

目的	先に見るチェックポイント
RTX 5090で推論	NVFP4
学習・変換の基準	BF16
独自量子化作成	BF16
エージェントを常駐させる	NVFP4

NVFP4はNVIDIAがQADを使って品質低下の抑制を狙ったチェックポイントだが、品質保持率や速度はNVIDIAの公開評価として読むべきで、すべてのタスクでBF16と同等と断定はできない。

OllamaやLM Studioで簡単に使えるのか

2026年9月2日時点で今回確認したNVIDIA公式の主要実行経路は、vLLM、SGLang、NVIDIA NIMなどだ。

そのため、この記事ではOllama、LM Studio、llama.cppで標準対応済みとは扱わない。

コミュニティ変換や新しい実行環境対応が出る可能性は高いが、「Hugging Faceに重みがある」ことと「普段使っているGUIでワンクリック実行できる」ことは別だ。

実行環境選びの基本は、LM Studio・Ollama・llama.cppの違いも参考になる。

GPU購入の判断材料としてどう見るか

Nemotron 3.5 Lightningは、32GB VRAMの価値を説明しやすいモデルの一つだ。

16GB GPUでは重みそのものから考えて厳しく、24GBでは余白が小さい。32GBになると、約22GBの公式NVFP4 重みに対して実行環境やコンテキスト用の余白を確保しやすくなる。

つまり、ローカルLLMで32GB VRAMを選ぶ理由は「巨大密な構造のモデルを全部載せる」だけではない。

30B級MoEの最適化チェックポイントを、オフロードに強く頼らず常駐させる余地を持つことも32GB GPUの価値になる。

ただし、この1モデルだけを理由にGPUを買うべきではない。画像生成、動画生成、より大きなLLM、将来のモデルまで含めて判断する必要がある。

選ぶときの判断

Nemotron 3.5 Lightningは、2026年8月のローカルLLMの中でも記事化価値が高い。

理由は、新しいモデルだからではなく、

• 30B 総 / 3B 有効という明確なMoE構成
• エージェント実行という具体的用途
• NVFP4版が約22GBという実用的な重み量
• NVIDIAがRTX 5090を公式対応ハードウェアに含めている
• 最大1M コンテキストと日本語対応

が一次情報で揃っているためだ。

特にRTX 5090 32GBを持つユーザーにとっては、**「3B 有効だから軽い」ではなく「30B級をNVFP4で約22GBまで圧縮し、32GB VRAMで余白を持って扱う」**という理解が重要になる。

現時点では、RTX 5090上でまずNVFP4版を短いコンテキストから試し、実際のVRAMピーク、入力処理、生成速度、ツール呼び出し成功率を測るのが妥当だ。