MoEの総パラメータと有効パラメータは何が違う？ A3Bの意味を解説

MoE（Mixture of Experts）モデルでは、35B-A3Bや80B-A3Bのように総パラメータ数と有効パラメータ数が別々に示されることがある。

ここで最も重要なのは、A3Bの3Bを3Bモデルのファイルサイズや必要VRAMへ置き換えないことだ。MoEではモデル全体の規模と、1トークンの計算で使われる部分の規模が別の数字になる。

totalはモデル全体、activeは計算時に使う部分

MoEは複数のexpertを持ち、入力に応じて一部を選択して計算する構造を取る。

公式モデルには次のような表記がある。

モデル	total	active
Qwen3.6-35B-A3B	35B	3B
Qwen3-Coder-Next	80B	3B
NVIDIA Nemotron 3.5 Lightning	30B	3B

35Bや80Bはモデル全体の規模を示す。active 3Bは、1トークンの処理で有効になる部分の規模を示す。

すべての重みが3B分しか存在しないという意味ではない。保存するモデル全体と、計算時に選ばれる部分を分けて考える必要がある。

A3Bは3Bモデルではない

A3Bを見て、次のように判断することはできない。

• 3Bモデルと同じファイル容量
• 約3GBのVRAMで動く
• 通常の3B denseモデルと同じ速度
• active 3B同士なら同じ性能

たとえばQwen3.6-35B-A3BにはQ4_K_M 20.4GBなどのGGUFが公開されている。これは配布物の容量であり、A3Bという名前から3GB前後になるわけではない。

さらに20.4GBというファイル容量も、推論時のピークVRAMと同じ数字ではない。KVキャッシュやランタイムの作業領域などが別に必要になる。

expertの構成もモデルごとに違う

activeの数字が同じでも、MoEの構造は同一とは限らない。

Qwen3.6-35B-A3Bでは256 expertのうちルーティングされるexpertと共有expertを持つ構成が示されている。Qwen3-Coder-Nextは512 expertを持ち、選択されるexpert数も異なる。

そのため「どちらもactive 3Bだから同じ計算量・速度」と単純化することはできない。アーキテクチャ、expert構成、ランタイム実装、ハードウェアなどの条件が異なるからだ。

MoEがdenseモデルより必ず高速、または高品質という一般則も作れない。

ローカル実行では4つの数字を分ける

MoEモデルをローカルで使う場合は、少なくとも次の4項目を別々に見ると分かりやすい。

1. total parameters — モデル全体の規模
2. active parameters — 1トークンの計算で有効になる部分
3. artifact size — GGUFやsafetensorsなど実際に保存する配布ファイルの容量
4. runtime memory — モデル、KVキャッシュ、作業領域などを含む実行時メモリ

totalとactiveはモデル構造を理解する数字だ。artifact sizeはSSDやダウンロード容量へ関係し、runtime memoryはGPUやRAMへの配置へ関係する。

この4つを一つの数字にまとめないことが、MoEのPC要件を読むうえで重要になる。

partial offloadでもactiveだけでは判断できない

モデル全体がGPUへ収まらない場合、ランタイムによっては一部をCPUとRAMへ置くpartial offloadが使える。

この場合も、active 3BだからGPU側には3B分だけ置けばよいという意味ではない。どの重みをどこへ配置するかはランタイムとモデル構造によって決まる。

同じモデルでも量子化、コンテキスト長、GPUへの配置を変えればVRAMとRAMの使用量は変わる。

MoEモデルを選ぶときの見方

MoEモデルを比較するときは、まずモデルカードでtotal、active、expert構成を確認する。次に実際に使うGGUFやsafetensorsの容量と量子化を見る。

その後、使うランタイムが対象アーキテクチャへ対応しているか、モデルをGPUとCPUへどう配置するか、必要なコンテキストでメモリが収まるかを確認する。

GPU容量まで選ぶ段階では、ローカルAI向けGPUは16GB・24GB・32GBのどれを選ぶ？も参考になる。

MoEのactive parametersは、計算構造を理解する重要な情報だ。ただし、保存容量・必要VRAM・速度・品質を単独で決める数字ではない。total、配布物、ランタイムの実行条件と組み合わせて読む必要がある。