3B・4Bと7B・8BのローカルLLMはどう選ぶ？

3B・4Bと7B・8Bの違いは、まずモデルのパラメータ規模にある。

ただし、「8Bは4Bの2倍賢い」「4Bなら8Bの半分のVRAMで必ず動く」といった換算はできない。

アーキテクチャ、学習内容、追加学習、量子化、コンテキスト長、実行環境なども異なるからだ。

選ぶときは、小さい候補から自分の用途を満たすか試し、足りない点が見えたら7B・8Bも同じ条件で比較すると分かりやすい。

図を拡大して見る

図: 主な比較軸を1枚に整理。細かな条件は本文と表で確認する。

まず必要な機能で候補を絞る

同じ3B・4B帯でも、モデルごとに機能や設計は違う。

例として、Phi-4-mini-instructはMicrosoftが3.8Bとする指示向けモデル、Gemma 3 4B ITはGoogle DeepMindの4Bクラスのモデルだ。Gemma 3 4B ITは画像入力にも対応するマルチモーダルモデルとして配布されている。

そのため「4Bならどれでも同じ」とは考えず、先に次を確認する。

• テキストだけでよいか、画像入力も必要か
• ツール呼び出しを使いたいか
• ライセンス条件が用途に合うか
• 使用する実行環境で必要な形式を扱えるか
• 日本語やコードなど、自分が重視する用途は何か

必要機能を満たさないモデルは、サイズ比較の前に候補から外せる。

まず3B・4B候補で不足点を記録する

小さいモデルを先に試す理由は、「小さい方が必ずよい」からではない。自分の用途を満たせるなら、より大きなモデルを使う必要がない可能性があるからだ。

同じ質問セットを使い、たとえば次の不足を記録する。

• 指示した条件を落とす
• 長い文章の要約で重要情報を落とす
• コード生成で指定した形式を守れない
• 日本語の自然さや正確さが用途に足りない
• 必要な機能が安定して使えない

不足が具体的に見えれば、次に比較する理由ができる。

7B・8Bへ上げる理由は実際の差から作る

Qwen2.5-7B-Instructは約7.61Bのパラメータを持つ。3B・4B帯より規模は大きいが、それだけで自分の用途に必ず優れるとは決めない。

3B・4B候補と同じ質問、同じ実行条件で試し、必要な品質差があるかを見る。

差が自分の作業に重要なら7B・8Bを残す。差が小さく、軽い方で十分なら3B・4Bを残せる。

必要メモリはB表記だけでは決まらない

同じ7B規模でも、BF16、GGUF Q4、Q5、Q8など配布形式・量子化によってファイル容量は変わる。

さらに実行時には、KV cache、コンテキスト長、使用するバックエンド、GPUオフロード量なども関係する。

比較するときは少なくとも次をそろえる。

項目	そろえるもの
モデル	正確なモデル名・リビジョン
配布ファイル	形式・量子化
コンテキスト	同じ長さ
実行環境	同じバージョン・バックエンド
配置	GPUへ全部載せるか、一部をCPUへ置くか
用途	同じ質問セット

配布ファイル容量をそのまま最大VRAM使用量とは扱わない。

速度も同じPC・同じ条件で比べる

小さいモデルは軽快に動くことが多いが、別のGPUや別の量子化で測った結果を混ぜれば、モデル規模だけの比較ではなくなる。

自分のPCで比べるなら、同じ実行環境、コンテキスト長、質問、出力量を使う。

必要ならtokens/sだけでなく、最初の文字が出るまでの待ち時間や、回答をやり直す回数も記録する。

最後は2〜3候補を同じ質問で比べる

選び方は次の順でよい。

1. 必要機能とライセンスで候補を絞る
2. まず3B・4B帯から1〜2モデル試す
3. 同じ質問セットで不足点を記録する
4. 7B・8B帯を同じ条件で試す
5. 必要な品質差があれば大きい方を残す
6. 差が不要なら軽い方を残す

「8Bだから上位」ではなく、自分の用途で差が必要かどうかで選ぶ。

具体的な小型モデルの仕様を見る場合は、Gemma 3 4B ITやPhi-4-mini-instructを確認できる。モデル名のB・MoE・量子化の読み方は、ローカルAIのモデルサイズ表記の読み方で整理している。