LM StudioでHugging FaceのGGUFを使う｜ダウンロードと保存済みファイルの取り込み

Hugging Faceで使ってみたいGGUFを見つけたら、LM Studioへ持っていきましょう。

まだ取得していなければDiscoverから、すでにPCへ保存してあれば手元のファイルから取り込めます。両方の方法で同じモデルをダウンロードし直す必要はありません。

この記事ではQwen2.5 7B InstructのGGUFを使い、短い会議メモをまとめてもらうところまで進めます。ファイルを一覧へ追加するだけで終わらず、選んだモデルが返答できるかまで見ておきましょう。

配布ページでファイルを選ぶ

lmstudio-communityのQwen2.5 7B Instruct配布ページを開きます。元のモデルはQwen2.5-7B-Instructで、このページでは量子化したGGUFを配布しています。モデルの説明とライセンスを読み、予定している用途で使えるか確認してください。

「Files and versions」を開くと、Q4_K_MやQ8_0などが並びます。これは量子化の違いで、同じモデルでも容量などが変わります。今回は一つで完結するQwen2.5-7B-Instruct-Q4_K_M.ggufを使います。どれを取るか迷ったら、このファイルを候補にして、まず手元の空きメモリへ収まるかを見てください。

まだダウンロードしていない場合

LM Studioを開き、Discoverの検索欄へ次のURLを貼り付けます。

https://huggingface.co/lmstudio-community/Qwen2.5-7B-Instruct-GGUF

結果が出たら、似た名前の別モデルを選ばないように、配布元のlmstudio-communityと量子化のQ4_K_Mを合わせてダウンロードします。ここで取得したファイルはLM Studioの保存先へ入ります。Hugging Faceをブラウザーで開き、同じファイルをもう一つ保存しなくても大丈夫です。

ダウンロードが終わったら、下の「モデルを読み込んで会話する」へ進んでください。

保存済みのGGUFを取り込む場合

すでにGGUFを保存しているなら、lms importでLM Studioへ取り込めます。今回は--copyを付けて、元のファイルを残します。省略すると「コピー」ではなく「移動」になるので、ほかのアプリからも使うファイルなら気をつけたいところです。コピー先には、もう一つ分の空き容量を用意しましょう。

コマンドの前に、ファイル名の末尾を見てみてください。00001-of-00003のような連番があれば、複数で一つのモデルになった分割版です。その場合は下の「分割されたGGUFを持っている場合」へ。次の例は、一つで完結するGGUF向けです。

LM Studioを起動し、PowerShellを開きます。まず--dry-runを付け、コピーの予定だけを見ます。GGUFをWindowsの「ダウンロード」フォルダーに保存してある場合は、次の形です。保存場所やファイル名が違う場合は、その部分を手元のものに置き換えてください。

lms import "$env:USERPROFILE\Downloads\Qwen2.5-7B-Instruct-Q4_K_M.gguf" --copy --dry-run

この段階ではファイルを動かさず、My Modelsにも追加しません。lmsが見つからないと表示された場合は、LM Studio公式のCLI導入手順でコマンドを使えるようにしてから、もう一度実行します。

表示された入力ファイルとコピー先を見て、合っていれば--dry-runだけを外して取り込みます。案内に従って登録を終えてください。

lms import "$env:USERPROFILE\Downloads\Qwen2.5-7B-Instruct-Q4_K_M.gguf" --copy

macOSやLinuxでは、ターミナルから次のように指定します。こちらも最初は末尾へ--dry-runを加えてコピー先を確かめ、確認後に外して取り込めます。

lms import ~/Downloads/Qwen2.5-7B-Instruct-Q4_K_M.gguf --copy

ほかの指定は公式のimportの説明を参照してください。取り込み後も元ファイルを残せたかを確認し、My Modelsで同じ量子化を選んでください。「コピー予定が見えた」「一覧へ入った」「返答が出た」を順に確かめると、どこで止まったかを見失わずに進められます。

取り込めたら、「モデルを読み込んで会話する」へ進みましょう。

分割されたGGUFを持っている場合

00001-of-00003なら、その一つだけでモデル全体が入っているわけではありません。三つとも取得し、同じ版・量子化でそろえます。名前を変えず、同じフォルダーへ置いてください。

lms importの公式案内は、ファイル一つを指定する形です。取り込みに迷う分割版なら、Discoverで取得するか、配布されている単一ファイル版を使う方が進めやすいと思います。先頭だけを移動して残りを元の場所へ置くと、一式が分かれてしまいます。

分割版しかない場合は、llama.cppのGGUF結合ツールで単一ファイルへまとめる方法もあります。その場合は、結合後のファイルを保存する空き容量も確保します。

モデルを読み込んで会話する

取り込みが終わったら「My Models」を開き、Qwen2.5 7B InstructのQ4_K_Mを探します。名前が似た別の量子化ではないことを見てから、チャット画面で選んで読み込みましょう。

新しい会話を開き、短いメモをまとめてもらいましょう。

次の会議メモを一文にまとめてください。
日時：木曜日15時
場所：第2会議室
内容：来月の展示会の準備

選択中のモデル名を見てから、返答に木曜日15時、第2会議室、展示会の準備が残っているか読んでみます。抜けていたら、同じ会話で「場所だけ教えてください」と聞いてみましょう。前のメモを踏まえて答えられるかも確かめられます。回答の内容の問題と、ファイルを読めずに止まる問題を分ければ、同じGGUFをもう一度コピーせずに次を調べられます。

この会議メモは読者が試す入力例で、本稿でそのモデルの正答を実測した記録ではありません。ここまで通ったら、普段まとめたい文章を短いものから渡してみましょう。

読み込めないときに確認するところ

起きたこと	確認するところ
My Modelsに出ない	取り込み先とLM Studioで設定したモデル保存先
unsupportedなどが出る	モデルに対応した実行エンジンを使っているか
メモリ不足で止まる	空きRAM・VRAM、コンテキスト長、GPUへ載せる量
返答に役割名や特殊な記号が混ざる	モデルに合う会話テンプレートになっているか

返答に役割名などが混ざる場合は、会話テンプレートも候補になります。これは、質問をモデルへ渡すときの並べ方です。LM Studioは通常GGUFから自動設定するため、最初から手で変更する必要はありません。おかしいときにPrompt Templateの設定と配布ページを照らし合わせましょう。

読み込みで止まった場合は、同じ登録を繰り返す前にエラーを残します。ダウンロードは完了したか、ファイルを取り違えていないか、LM Studioの実行環境が対応しているかを順に見ましょう。返答は出るもののGPUを使っていないように見える場合は、GPUが使われないときの確認手順へ進めます。