日本語ローカルLLMの候補をどう比較する？2〜3モデルへ絞る手順

日本語ローカルLLMを選ぶとき、「日本語最強ランキング」を一つ作るより、自分の用途に合う2〜3モデルへ絞る手順を持っておく方が使いやすい。

モデルは更新され、量子化や実行環境も変わる。固定順位より、同じ条件で新しい候補を追加できる比較方法を作っておく方が長く使える。

図を拡大して見る

図: 主な比較軸を1枚に整理。細かな条件は本文と表で確認する。

最初は公式情報で候補を作る

候補を探す段階では、配布元の公式モデルカードや公式配布物を確認する。

モデル・リビジョン:
ライセンス:
規模・構成:
コンテキスト長:
公式の配布物:
対応言語・機能:
使える実行環境:

「日本語対応」「多言語対応」と書かれていても、それだけで自分の日本語用途に最適とは限らない。

ここでは、試す価値がある候補かどうかを判断する材料として使う。

日本語で何をさせたいか一つ決める

「日本語性能」を一問で測ることは難しい。

用途を分ける。

• 日本語の要約
• 指示に沿った文章作成
• 長文からの情報抽出
• コードの日本語説明
• 推論を伴う質問
• ツール呼び出し
• 指定した文体の維持

全部を同じ重みで評価する必要はない。自分にとって一番重要な用途を先に決める。

同じプロンプトと実行条件で比べる

モデルを比較するときは、モデル以外の条件をできるだけ揃える。

プロンプト: 同じ
システムプロンプト: 同じ
コンテキスト長: 同じ
生成設定: 同じ
実行環境: 可能なら同じ
量子化・精度: 比較可能な条件
モデルのリビジョン: 記録

条件が違う公開ベンチマークや他人の実測値を、そのまま一つの総合点へ混ぜない。

日本語の自然さ以外も見る

回答が読みやすいだけでは、実務で使えるとは限らない。

観点	確認すること
指示追従	指定形式や禁止条件を守るか
情報抽出	元文にない内容を足さないか
日本語表現	不自然な直訳や不要な英語混在がないか
安定性	同じ条件で極端に結果が変わらないか
実行条件	自分のPCで速度やメモリ使用量が許容できるか

品質と速度を無理に一つの点数へまとめず、別々に残す方が判断しやすい。

公開ベンチマークは候補探しに使う

モデルカードに掲載されたベンチマークは候補を探す参考になる。

ただし、そこで使われたプロンプト、量子化、実行環境、コンテキストなどが自分の条件と同じとは限らない。

自分の日本語タスクに合うかどうかは、自分のプロンプトセットで確認する。

最後は2〜3候補だけ詳しく比べる

最初から10モデルを細かく評価する必要はない。

1. 公式情報で候補を作る
2. 必須タスクを数件だけ試す
3. 明らかに合わない候補を外す
4. 残った2〜3モデルだけ詳しく比較する
5. 条件と結果を保存する

こうしておけば、新しいモデルが出たときも同じプロンプトへ追加して比較できる。

「おすすめ」は固定順位ではなく、自分の日本語用途とPC条件に対する短い候補一覧として持つ方が実用的だ。

個別モデルを確認する場合は、Qwen3 8B/27Bのモデル解説、Gemma 4 12B ITのモデル解説、Mistral Small 3.2 24Bのモデル解説を比較材料にできる。