Nemotron 3.5 Lightning 30B-A3Bとは？ NVFP4と1Mコンテキストの注意点

このモデルは何か

NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4は、NVIDIAが公開するMoEのテキスト生成モデルだ。モデルカードでは総30B・有効3Bパラメータとされ、NemotronHForCausalLMを採用する。MambaとTransformerを組み合わせたハイブリッド構成として説明されている。

最大コンテキスト長は1,048,576トークン、ライセンスはNVIDIA Open Model License 1.1。公開されているモデル名のとおり、配布物にはNVFP4が使われている。

有効3Bという数字は、1トークンの計算時に選ばれる部分の規模を示す。モデル全体の保存容量や必要メモリが3B級の通常モデルと同じになるわけではない。

NVFP4もNVIDIAの量子化・配布形式であり、名前にFP4が入っているからGGUFのQ4と同じものだとは考えられない。利用にはNVFP4を扱える実行環境が必要になる。

このモデルでできること・どんなPCで動かせるか

1,048,576トークンという最大コンテキストは大きな特徴だが、100万トークンをどのPCでも実用的に扱えることを意味しない。コンテキストを伸ばすほどKVキャッシュなどの追加メモリが増え、処理時間も実行環境に左右される。

長文用途で検討する場合は、最初から最大値を前提にせず、実際に必要な入力長でメモリ使用量と速度を見る方が現実的だ。

ハードウェアでは、NVIDIA製モデルであることとGeForce向けにすぐ利用できることを分ける必要がある。確認したモデルカードには、RTX 5090など一般向けGeForceでNVFP4を使うための完全な実行環境・ドライバー・メモリ構成例は示されていない。

試す場合は、少なくとも次の条件が必要になる。

• NVFP4に対応する実行環境とバージョン
• 対象GPUとドライバーの対応
• モデルのリビジョンと必要なトークナイザー
• モデル全体を保存・初期化できるストレージとRAM
• GPUへの配置方法とコンテキスト設定

モデルカードにはMTPに関する特徴もあるが、モデル側に仕組みがあることと、手元の実行環境で自動的に高速化できることは別だ。MTPを使う場合もランタイム側の対応と設定が必要になる。

速度や必要VRAMは、総30B・有効3B、NVFP4といった仕様だけから固定できない。特に100万トークンまで広げた場合の実用性は、使うハードウェアとランタイムで確認する必要がある。

local-genの評価

Nemotron 3.5 Lightning 30B-A3Bは、MoE、NVFP4、1Mコンテキスト、MambaとTransformerのハイブリッド構成という特徴を試したい人には興味深いモデルだ。

ただし、一般的なローカルLLMとしてすぐ導入できるかという点では、実行経路を先に確認する必要がある。特に「NVIDIAが公開したモデルだからRTX 5090でそのまま動く」という前提では選べない。

NVFP4を扱えるランタイムと、自分のGPUで再現できる構成例が確認できるなら候補へ入れやすい。反対に、その経路がまだ確認できないなら、GPUを購入する理由にするより実験的な候補として保留する方がよい。

1MコンテキストやMTPも同様で、仕様として存在することと実用上の価値は別に確かめる必要がある。まず短い入力で起動経路を確認し、必要なコンテキストと機能へ段階的に広げるのが妥当だ。