LM StudioでHugging FaceのGGUFを読み込む方法

Hugging Faceで見つけたGGUFをLM Studioで使う方法は、大きく二つある。LM StudioからHugging Faceのリポジトリを探して取得する方法と、すでに手元にあるGGUFをLM Studioへ登録する方法だ。

どちらの場合も、最初にGGUFの配布元と元モデル、量子化を確認する必要がある。ファイルをLM Studioへ登録できたことと、そのモデルが正しく読み込めること、GPUで使えることは別の確認になる。

まずHugging Faceで配布物を確認する

同じモデル名でも、Hugging Faceには公式配布、第三者のGGUF変換、ファインチューニング版など複数のリポジトリが存在する場合がある。

ダウンロード前には次を確認したい。

• 配布者とリポジトリ名
• 元モデル
• リビジョンや更新情報
• ライセンス
• GGUFの正確な量子化名
• 分割GGUFなら必要な全part
• モデルカードに記載されたテンプレートや注意点

Q4_K_Mなどの量子化名だけでは、どの元モデルを使ったファイルかまでは分からない。配布ページ全体を見て選ぶ必要がある。

GGUF自体の選び方から確認したい場合は、GGUFモデルをダウンロードする前に確認したい5項目が参考になる。

方法1：LM StudioからHugging Faceのモデルを取得する

LM Studioのモデル検索では、モデル名だけでなくuser/model形式やHugging FaceのURLを使う方法が公式に案内されている。

目的のリポジトリを表示したら、Hugging Face側で確認した配布者、モデル名、量子化と一致しているかを見る。似た名前の別リポジトリを選ばないことが重要だ。

取得時にはファイル容量も確認する。分割GGUFの場合は一部だけでなく必要なpartがそろう構成を選ぶ。

ダウンロード後、LM Studio上で目的のモデルと量子化として認識されているか確認する。

方法2：手元のGGUFをLM Studioへ登録する

すでにGGUFを別の方法で取得している場合は、LM Studioが案内するモデル用ディレクトリへ配置する方法がある。

公式ドキュメントで示される基本的な構成は次の形だ。

~/.lmstudio/models/
└── publisher/
    └── model/
        └── model-file.gguf

Windowsの~はユーザーフォルダーに相当する。publisherとmodelは配布元とモデルが分かる形にする。

分割GGUFでは必要なファイルをすべて同じ構成でそろえ、配布時のファイル名をむやみに変更しない方がよい。

CLIのlms importも公式ドキュメントにあるが、現行資料ではexperimentalとして扱われている。CLIを使う場合は、その時点のlmsヘルプと公式ドキュメントを確認する必要がある。

読み込み後にコンテキストとGPU設定を見る

LM Studioがモデルを認識したら、実際に読み込む。

ここで確認したいのは次の項目だ。

• 正しいモデルと量子化を選んでいるか
• モデルが現在のランタイムで読み込めるか
• コンテキスト長はいくつになっているか
• GPU offloadはどのように設定されているか
• チャットテンプレートが用途に合っているか

最初から最大コンテキストや最大GPU offloadへ変更する必要はない。短い入力で起動を確認した後に、一つずつ設定を変える方が原因を追いやすい。

import成功はモデル対応の保証ではない

GGUFファイルをLM Studioへ登録できても、そのモデルアーキテクチャを現在のランタイムが扱えるとは限らない。

また、テキスト生成が動いても、画像入力などで必要なprojector/mmprojまで対応しているとは限らない。GGUF形式の共通性と個別モデルの互換性は分けて考える必要がある。

詳しくはGGUFはLM Studio・Ollama・llama.cppでどこまで互換？で確認できる。

最初は短いプロンプトで確認する

読み込みが成功したら、短い質問を一つ送って返答まで確認する。その後にコンテキスト、GPU offload、システムプロンプトなどを用途に合わせる。

Hugging FaceのGGUFをLM Studioで使うときは、操作方法より先にどの配布物を使っているかを明確にすることが重要だ。配布元と元モデル、量子化を固定し、LM Studioの取得またはローカル登録経路で読み込んだ後に、ランタイムとGPU設定を確認すれば切り分けやすい。