日本語に強いローカルLLMはどう選ぶ？まず自分の用途で試す

「日本語対応」と書かれたローカルLLMが複数あると、公開ランキングだけで一つを選びたくなる。

しかし、モデルカードに日本語対応と書かれていることと、自分がやらせたい日本語の仕事で満足できることは別だ。

初めて候補を比べるなら、「日本語で何をさせたいか」を先に決める。

日本語でやらせたいことを2〜3個に絞る

用途は具体的にする。

たとえば、

• 丁寧なメールを短く書き直す
• 1500字の記事を5項目で要約する
• FAQの文章から根拠付きで答える
• コードの内容を日本語で説明する

といった形だ。

「自然な日本語を出す」という条件だけでは、比較した後に何を良いと判断するかが曖昧になる。

同じ条件で候補を試す

モデルを比べるときは、条件を記録する。

モデル・リビジョン:
実行環境・バージョン:
量子化・精度:
コンテキスト長:
システムプロンプト:
ユーザープロンプト:
生成設定:

モデルごとに条件を大きく変えると、モデルの差なのか設定の差なのか分かりにくくなる。

完全に同じ条件にできない場合は、その違いを結果と一緒に残す。

対応言語や公開ベンチマークは候補を見つける材料

モデルカードの対応言語や公開ベンチマークは、試すモデルを探すためには役立つ。

ただし、それだけで自分の文体、専門用語、長文処理、敬語の品質まで分かるわけではない。

候補を2つ選んだら、同じ日本語プロンプトを両方へ渡して結果を比べる。

「自分が困る失敗」を先に決める

評価するときは、良さだけでなく避けたい失敗を決めておく。

• 指示した形式を守らない
• 固有名詞を勝手に変える
• 敬語が不自然になる
• 要約で重要な条件を落とす
• 日本語の中へ不要な英語を混ぜる
• 元文にない事実を追加する

このような失敗が少ないモデルを残す。

公開ベンチマークの総合順位が低くても、自分の用途で失敗が少ないなら、そのモデルを選ぶ理由になる。

最初から細かい採点表を作らなくてもよい

初めて比較する段階では、巨大なテストセットや複雑な点数表を作る必要はない。

まず2〜3個の実用途を同じ条件で試し、明らかに合わないモデルを外す。

その後、比較を繰り返したくなったら、同じ質問を再利用できるテストセットへ発展させればよい。

最初に探すのは「日本語最強モデル」ではなく、自分の使い方で困る失敗が少ないモデルである。

候補モデル自体の絞り込み方を詳しく知りたい場合は、日本語ローカルLLMを2〜3候補へ絞る手順へ進む。比較用の質問を再利用できる形にしたい場合は、日本語ローカルLLMのテストセットを作る方法で次の段階へ進める。