Ollamaで画像を入力する方法｜Vision対応モデルで1枚から試す

Ollamaで画像について質問したい場合は、まず画像入力へ対応したモデルを使っているか確認する。

通常の文章専用モデルへ画像ファイルの場所を付けても、画像理解へ対応していなければ同じ処理にはならない。

最初は対応モデルを一つ選び、画像を一枚だけ渡して動作を確かめる。

画像入力へ対応したモデルを確認する

Ollamaのモデルライブラリや公式資料で、対象モデルが画像入力へ対応しているか確認する。

モデル名の印象だけで決めず、配布ページの説明や対応機能を見る。

初回は複数モデルを同時に試さず、一つだけ取得する。

CLIでは一枚の画像から試す

CLIから画像対応モデルへ画像と質問を渡せる。

ollama run <vision-model> ./test.jpg この画像に何が写っていますか？

実際の書き方は、利用時点のOllama公式資料で確認する。

試験用の画像には、機密情報や不要な個人情報を含めない。まず内容を自分で確認できる画像を使う。

APIでは画像の渡し方を確認する

OllamaのREST APIでは、画像データをリクエストのimagesへ渡す方式が案内されている。

一方、SDKではファイルパスを直接扱える場合があるなど、利用する入口によって書き方が同じとは限らない。REST APIでは画像データの表現方法も確認する。

CLIでは動くのにAPIでは失敗する場合、モデルをすぐ変えるのではなく、まず画像の渡し方とリクエスト形式を確認する。

画像理解と画像生成を混同しない

Vision対応モデルが行うのは、入力画像を見て文章で答える処理だ。

• 画像の内容を説明する
• 写っている物を分類する
• 画像について質問へ答える

といった用途で使う。

ComfyUIなどで新しい画像を生成する処理とは別の機能なので、「画像を扱える」という一言で同じ用途として比較しない。

OCRの正確さは別に評価する

画像内の文字を読める例があっても、一字一句正しい文字起こしが常にできるとは限らない。

日本語の書類や画面から正確に文字を取り出したい場合は、同じ画像をOCRでも処理し、元画像と照合する。

自然な説明ができることと、文字を正確に転記できることは別の能力だ。

OCRとの使い分けは、OCRとVision LLMはどちらを使う？で整理している。

同じ画像と質問を保存する

一回成功したら、次を記録する。

Ollamaのバージョン:
モデル / タグ / digest:
入力画像:
質問:
回答:
メモリ条件:

別のモデルを試すときも同じ画像と同じ質問を使えば、自分の用途で比較しやすい。

最初の目標は、Ollamaで一枚の画像へ一つの質問を送り、その入力条件と回答を再現できることだ。そこから画像の種類や質問を増やしていく。