GGUFのQ4・Q5・Q6・Q8はどれを選ぶ？ 量子化の違いを解説

GGUFの配布ページでは、Q4_K_M、Q5_K_M、Q6_K、Q8_0など複数の量子化が並んでいることが多い。選ぶときは「最も数字が大きいQ8」や「無難そうなQ4」を機械的に選ぶより、自分の環境で無理なく扱える候補を先に絞り、その中で量子化の条件を比較する方が失敗しにくい。

量子化はモデルの重みを小さな表現へ変え、保存容量や実行時のメモリ負担を抑える方法だ。同じモデルでは一般に低いビット幅ほどファイルを小さくしやすいが、Q4・Q5・Q6・Q8をそのまま万能な品質ランキングとして扱うことはできない。

図を拡大して見る

図: 容量・設定値・段階差の判断軸を1枚に整理。数値の条件は本文を優先する。

Q4・Q5・Q6・Q8の違い

Q4、Q5、Q6、Q8は量子化の大まかな精度を表す目印になる。同じ元モデル、同じ量子化系統なら、より多くの情報を残す側ほどファイルも大きくなる傾向がある。

ただし、llama.cppが示すサイズや品質の比較値は特定モデルを使った例であり、すべてのモデルに同じ比率が当てはまるわけではない。異なるモデルのQ4とQ5を数字だけで横並びにしても、適切な比較にはならない。

量子化を選ぶときは、まず同じ元モデル・同じリビジョンの候補同士を比べる必要がある。

同じQ4でもファイルは同じではない

Q4_K_MのようにQ値の後ろへ付く表記も重要だ。llama.cppには複数の量子化方式があり、同じQ4系でも作り方が異なる。

さらに、配布物によってはimportance matrix（imatrix）を使って量子化されている場合がある。imatrixは量子化時に重みの重要度を考慮するための情報だが、使われているだけで品質が必ず上がると保証するものではない。

すでに量子化された重みを別の量子化へ変換した再量子化ファイルもある。llama.cppの資料でも再量子化には注意が必要とされているため、配布者が元の重みから直接作ったのか、別の量子化から作ったのか分かる場合は確認したい。

最初に実ファイル容量を見る

量子化名だけで容量を想像するより、配布ページに表示されている実際のファイル容量を見る方が確実だ。

確認する項目は次のとおりになる。

• 元モデルとリビジョン
• 正確な量子化名
• 実ファイル容量
• 分割GGUFなら全partの合計
• imatrixの使用有無や作成方法の説明
• 再量子化かどうか
• 使うランタイムがそのGGUFを扱えるか

ファイルが保存できることと、GPUへ全量が収まることは別だ。GGUFの容量をそのまま必要VRAMへ読み替えることはできない。

メモリに余裕がある範囲で候補を上げる

選び方は単純でよい。まず小さめの量子化も含め、自分のPCで実行できる候補を確認する。その中でメモリに余裕があるなら、Q5、Q6、Q8などより多くの情報を残す側も比較する。

状況	考え方
メモリ余裕が少ない	Q4系など小さめの候補から実ファイルと実行条件を確認
Q4で十分な余裕がある	Q5やQ6も比較対象にする
メモリにかなり余裕がある	Q8まで含め、容量増加に見合うか実際の用途で比較
作成方法が不明	元モデルと量子化方法を追える配布物を優先

ここで「Q5なら品質が何％高い」「Q8が最速」といった固定値は作れない。品質と速度はモデル、量子化方式、ランタイム、ハードウェアによって変わるため、必要なら同じ条件で実際に比較する必要がある。

Q値だけで必要VRAMは決まらない

同じモデルのQ4はQ8より小さくなりやすいが、それだけで「Q4ならVRAM○GB」と決めることはできない。

実行時にはモデル本体のほか、KVキャッシュやランタイムの作業領域にもメモリを使う。GPUへすべて載せるか、一部をCPUとRAMへオフロードするかでも必要VRAMは変わる。

そのため、量子化選びではファイル容量を保存と候補絞りの材料に使い、最終的なPC適合性は実際のランタイム設定で確認するのがよい。

配布元とランタイムも最後に確認する

量子化を一つに絞っても、配布元、ライセンス、チャットテンプレート、アーキテクチャ対応が合わなければ使えない。

配布物全体の確認はGGUFモデルをダウンロードする前に確認する5項目で整理できる。LM Studio・Ollama・llama.cppでどこまで扱えるかはGGUFの互換性ガイドも参考になる。

Q4・Q5・Q6・Q8は、最終順位ではなく候補を絞るための情報だ。まず実ファイル容量と実行条件を満たし、その範囲でどこまで情報を残した量子化を使うか決めるのが基本になる。