モデル名の7B・MoE・Q4は何を表す？ローカルAIのサイズ表記の読み方

モデル名に7B、27B、35B-A3B、Q4などの数字が並んでいると、それらを全部「モデルの大きさ」として読みたくなる。

実際には意味が違う。B表記、MoE、量子化、配布ファイルの容量を分けて読むと、必要VRAMや速度を早合点しにくくなる。

7B・27BのBはモデル規模の手掛かり

7Bや27BのBは、一般にbillion、つまり10億単位のパラメータ規模を示す名前として使われる。

たとえば7Bと27Bなら、モデルの規模が同じではないことは分かる。

ただし、ここから、

• 27Bなら必ず7Bより高品質
• 7Bなら必ず速い
• 7Bなら7GBのVRAMで動く

とは結論できない。

モデルカードでは、パラメータ規模だけでなく、アーキテクチャ、コンテキスト長、精度、配布形式なども確認する。

DenseとMoEでは数字の読み方が違う

Denseモデルでは、基本的にモデル全体のパラメータを使って処理する。

一方、MoEでは多数のExpertを持ち、入力に応じてその一部を使う設計がある。そのため、モデル全体の総パラメータ数と、1回の処理で実際に選択される部分の規模が別に示される場合がある。

たとえば35B-A3Bのような表記なら、35BとA3Bは同じ意味の数字ではない。

総パラメータ数: モデル全体の規模
Active側の表記: 1回の処理で選択される部分の規模を示す配布元の表記

ただし、Active側の数字が小さいからといって、その数字だけで必要VRAMを計算することはできない。モデル全体をどのように保持するか、実行環境がどのように配置するかなど別の条件がある。

Q4などはモデル規模ではなく量子化の条件

量子化は、モデルの重みをより少ないビット幅で表現し、保存容量や実行時の条件を変える方法だ。

同じ7Bモデルでも、Q4、Q5、Q8など複数の配布ファイルが作られることがある。

つまり、

7B → 元モデルの規模
Q4 → その配布ファイルの量子化条件

というように分けて考える。

量子化を強くすればファイルが小さくなる傾向はあるが、品質や速度への影響は量子化方式、実行環境、ハードウェアでも変わる。Q4という名前だけで具体的な品質を決めない。

量子化が重みの数値表現をどう変え、なぜ小さくなる一方で近似誤差が生じるのかは、AIの量子化とは？で仕組みから確認できる。ここで扱う対象は、モデル名に並ぶ表記の読み分けである。

実際に取得するファイルを確認する

PC要件を考える前に、候補モデルについて次を埋める。

配布元・元モデル:
アーキテクチャ:
総パラメータ数:
MoEならActive側の表記:
量子化:
ファイル形式:
ファイル容量:
使う実行環境:

第三者がGGUFへ変換・量子化したファイルを使う場合は、元モデルとその配布者を分けて記録する。

ファイル容量と必要VRAMは同じではない

配布ファイルが10GBだからといって、推論時に必要なVRAMが必ず10GBになるわけではない。

実行時には、モデル本体に加えて、KV cache、コンテキスト長に応じた領域、実行時のバッファーなども関係する。

また、CPU側のRAMへ一部を置く実行環境なら、モデル全体をVRAMへ載せない構成もある。

最後に実行条件を足してPC要件を考える

モデル名から分かることを整理した後、次の条件を加える。

必要なコンテキスト長:
使う実行環境:
GPUへどこまで配置するか:
実際の最大メモリ使用量:
許容できる応答時間:

B・MoE・量子化は重要な手掛かりだが、それだけでPC要件は決まらない。モデル名を読んだあと、実際に使うファイルと実行条件まで確認するのが次の段階になる。

GGUFを取得する前の確認項目は、GGUFをダウンロードする前の確認方法で整理できる。