ローカルVision LLMの選び方｜画像入力・mmproj・実行環境を確認する

ローカルVision LLMを選ぶとき、モデル名にVisionやVLと付いているかだけでは足りない。

重要なのは、自分が使う配布形式と実行環境で、画像入力に必要なファイル一式を扱えるかだ。

特にGGUF系では、文章を扱うモデル本体とは別に、画像情報をモデルへつなぐための補助ファイルが必要な構成がある。

まずモデルの公式情報で画像対応を確認する

最初に提供元のモデルカードを見る。

• 画像入力を正式に扱うか
• テキスト専用版とは別か
• 1枚または複数画像の入力について説明があるか
• ライセンスと配布形式は何か

multilingualやmultimodalという表記だけから、OCRの正確さや日本語読解の品質まで推定しない。

配布ファイル一式を確認する

Transformers向けの公式配布と、GGUFなどの変換済み配布では必要なファイルが異なる場合がある。

llama.cppのマルチモーダル対応では、モデルによって画像用の投影ファイルを組み合わせる構成がある。これがmmprojなどとして配布される場合がある。

コミュニティが変換したGGUFを使う場合は、モデル本体だけを取得して終わりにせず、対応する画像用補助ファイルの配布元とリビジョンも確認する。

実行環境がそのモデルへ対応しているか確認する

モデル自体に画像理解能力があっても、利用中の実行環境がその構造や画像入力を扱えなければ使えない。

Ollamaの公式Vision資料のように、画像を文章と一緒に渡す方法が明示されている実行環境もある。

確認順は次のようにすると分かりやすい。

1. モデルカードで画像対応を確認
2. 必要な補助ファイルを確認
3. 実行環境のバージョンと対応状況を確認
4. 画像の入力方法を確認
5. 小さなテスト画像を1枚使う

テキストだけのメモリ使用量をそのまま流用しない

Vision LLMでは文章用モデルに加えて、画像エンコーダーや投影処理が関わる。

テキストだけで使ったときのVRAM使用量を、そのまま画像入力時にも同じだと扱わない。

画像サイズ、画像枚数、コンテキスト長、量子化、CPUへのオフロードなども含めて実測する。

文字を正確に抜きたいならOCRと別に評価する

画像について自然に説明できることと、画像内の文字を一字ずつ正確に転記できることは別の能力だ。

契約書や帳票のように文字の正確さが重要なら、OCRとの比較や原画像との照合を行う。

Vision LLMがもっともらしい説明を返しただけで、文字認識まで正しいと判断しない。

最初は1枚の画像と1つの質問で試す

権利上問題のない画像を1枚だけ入力し、「画像に何が写っている？」のような単純な質問から始める。

成功したら、

モデルID:
モデル本体のファイル:
画像用補助ファイル:
実行環境 / バージョン:
入力画像:
メモリ条件:

を保存する。

Vision LLMは、モデル本体・画像用補助ファイル・実行環境・入力条件の組み合わせで選ぶ。モデル名だけで取得候補を決めない方が失敗を減らせる。