OllamaにGGUFを取り込む方法｜Modelfileの基本と手順

手元にあるGGUFをOllamaで使う場合は、Modelfileからローカルモデルとして登録する。基本は**GGUFを確認 → FROMで指定 → ollama create → ollama run**の順だ。

最初からチャットテンプレートや生成パラメータを追加する必要はない。まず最小構成でモデルを起動できるかを確認し、その後に必要な設定だけを加える方がトラブルを切り分けやすい。

1. 取り込むGGUFを確認する

Ollamaへ登録する前に、GGUF自体の情報を確認する。

• 配布元と元モデル
• モデルのアーキテクチャ
• 量子化
• 分割GGUFなら必要な全ファイル
• チャットテンプレートの案内
• ライセンス
• マルチモーダルなら必要な補助ファイル

GGUFは共通のファイル形式だが、OllamaがすべてのGGUFアーキテクチャを無条件に扱えるわけではない。形式名と個別モデルの対応は分けて考える必要がある。

配布物の確認から必要な場合は、GGUFモデルをダウンロードする前に確認したい5項目で整理できる。

2. 最小のModelfileを作る

Ollamaの公式import手順では、ModelfileのFROMにGGUFのパスを指定する。

FROM C:/models/model.gguf

パスは実際の保存場所に置き換える。相対パスを使う場合も、ollama createを実行する場所との関係を確認したい。

最初のModelfileはFROMだけでよい。モデルの配布元から必要性が確認できていないTEMPLATE、SYSTEM、PARAMETERを先回りして追加すると、起動しない原因が増える。

3. ollama createで登録する

Modelfileを保存したら、PowerShellなどからローカルモデルを作成する。

ollama create my-local-model -f .\Modelfile

ここでのmy-local-modelはOllama内で使う名前であり、元モデルの互換性を変えるものではない。モデル名を変えればunsupported architectureが解消する、といった関係はない。

ollama createが成功したら、次のコマンドで起動する。

ollama run my-local-model

短い質問へ返答できれば、GGUFの読み込み、Ollamaへの登録、基本的な生成までの経路は通っている。

4. チャットテンプレートは必要な場合だけ追加する

モデルが起動しても、会話形式が合っていなければ期待した応答にならないことがある。

その場合は、モデルカードや公式配布元が示すチャットテンプレートを確認する。別モデルのModelfileをコピーしたり、モデル名にInstructやChatが含まれることだけからテンプレートを推測したりするべきではない。

TEMPLATEやSYSTEMを追加するときは、最小構成で起動した状態から一項目ずつ変更すると原因を追いやすい。

コンテキストやtemperatureなどのPARAMETERも同じで、必要な値だけを追加する。

5. GPU/CPU配置はimport後に確認する

モデルを起動した状態で次を実行すると、現在の配置を確認できる。

ollama ps

PROCESSOR欄が100% GPUならGPU側へ全量配置されている状態の一例で、GPU/CPUが分かれていればpartial offloadになっている。CONTEXT欄では現在のコンテキストも確認できる。

ollama createが成功したからGPUを使っている、という意味ではない。GPU利用はOS、GPU、ドライバー、モデルサイズ、空きVRAMなどの条件に依存する。

返答速度だけからCPU fallbackと決めつけず、ollama psと必要ならログを確認する方が確実だ。

6. 起動しない場合は原因を分ける

import時または起動時に失敗した場合は、次の順で確認すると切り分けやすい。

1. GGUFのパスが正しいか
2. 分割ファイルがすべてそろっているか
3. Ollamaが対象アーキテクチャに対応しているか
4. 必要なテンプレートや補助ファイルがあるか
5. コンテキストやメモリ設定が大きすぎないか
6. GPU対応条件を満たしているか

GGUF形式の互換性自体が疑わしい場合は、GGUFはLM Studio・Ollama・llama.cppでどこまで互換？で確認できる。

OllamaへのGGUF importでは、createの成功だけをゴールにしない。正しいGGUFを最小Modelfileで登録し、短い生成、テンプレート、コンテキスト、GPU/CPU配置まで順に確認することで、実際に使える状態か判断できる。