VRAM 12GBならローカルAIはどこまでできる？LLM・画像生成の現実的なライン

VRAM 12GBは、ローカルAIを試すにはかなり使い道のある容量だ。ただし、12GBを境に何でも快適に動くようになるわけではない。

8GBから12GBになると、使えるVRAMは4GB増える。割合では1.5倍だが、LLMの速度や画像の生成速度が1.5倍になるという意味ではない。増えるのは、モデルの重み、KVキャッシュ、画像生成の各コンポーネントや処理中のデータをGPU側へ置いておける余裕だ。

この余裕のおかげで、8GBではCPUへの退避が必要だった処理をGPU側へ多く残せたり、コンテキストや画像生成の設定を少し上げても収まりやすくなったりする場合がある。一方、必要なメモリが12GBを大きく超えるモデルなら、4GB増えてもoffloadは必要になる。

12GBで見るべきなのは「何GBのモデルまで動くか」という一本の線ではなく、自分が使う条件で、どこまでGPU内に収まり、どこから妥協が必要になるかだ。

図を拡大して見る

図: 容量・設定値・段階差の判断軸を1枚に整理。数値の条件は本文を優先する。

12GBは「余裕が増える容量」であって「制約が消える容量」ではない

NVIDIAの公式仕様では、GeForce RTX 4070とRTX 4070 SUPERは12GBのVRAMを搭載している。12GBはAI専用の特殊な構成ではなく、ゲーミング向けGPUにもある容量帯だ。

ローカルAIでは、その12GBを次のような場所で使う。

用途	VRAMを使う主な要素	12GBで余裕が増えると起きること
ローカルLLM	モデルの重み、KVキャッシュ、実行時の作業領域	同じモデルならGPUへ置ける割合やコンテキストの余裕が増える場合がある
画像生成	モデル本体、VAE、テキストエンコーダー、処理中のデータ、追加component	同じworkflowならOOMまでの余裕が増え、設定を削らずに済む場合がある

ただし、VRAM 12GBのカードだから、AIが常に12GBすべてを自由に使えるわけではない。画面表示やブラウザー、ゲーム、別のAIソフトなどがGPUメモリを使っていれば、そのぶん空きは減る。

そのため「11.9GB使う想定だから12GBに入る」と限界ぎりぎりで考えるより、実際に読み込んだときの使用量を見る方が安全だ。

LLMでは、8GBより「GPUに残せる範囲」を広げやすい

LLMをローカルで動かすとき、モデルファイルの大きさだけを見てVRAM使用量を判断することはできない。

モデルの重みに加えて、会話履歴や入力を処理するためのKVキャッシュ、ランタイムの作業領域なども必要になる。配布ファイルがVRAMより小さくても、実行時にそのまま収まるとは限らない。

この違いはLLMのファイルサイズ・VRAM・RAM・実行時メモリの違いで詳しく分けている。

12GBの利点は、同じ条件なら8GBより4GB多くGPU側へ置けることだ。たとえば8GBでモデルの一部をCPUとRAMへ残していた場合、12GBではGPUへ載せられる層が増える可能性がある。

ただし、ここでも「12GBなら○Bモデルまで」という固定表にはできない。モデルの構造、量子化、コンテキスト長、KVキャッシュの形式、ランタイムで結果が変わるからだ。

量子化は12GBでも重要

12GBあるからといって、量子化を考えなくてよくなるわけではない。

量子化はモデルの重みを少ないbit数で表し、weight memoryを小さくする方向に働く。同じ12GBでも、重みが軽くなればKVキャッシュや実行時領域へ残せる余裕が増える。

一方で、量子化したから総VRAM使用量が同じ割合で減るとは限らない。何が小さくなり、何が別に残るのかはAIの量子化とVRAMの関係で確認できる。GGUFを選ぶときはQ4・Q5・Q6・Q8の違いも判断材料になる。

12GBでは、単に最も軽い量子化を選ぶのではなく、必要な品質とGPU内の余裕を見ながら選択肢を広げられるのが8GBとの違いになりやすい。

コンテキストを伸ばす余裕も、モデルとは別に考える

LLMが長いコンテキストに対応していても、その最大値を設定するとKVキャッシュなどのメモリ使用量は増える。

12GBでモデル本体が収まったとしても、コンテキストを大きくしたところでVRAM不足になることはあり得る。逆に、短いチャットや要約が中心なら、必要以上に長いコンテキストを確保する意味は薄い。

コンテキスト長とKVキャッシュがVRAMへ与える影響を理解しておくと、「モデルを小さくするべきか」「コンテキストを下げるだけでよいか」を分けやすい。

12GBを超えたら、partial offloadという逃げ道もある

llama.cpp系では、モデルの一部をGPUへ載せ、残りをCPUとシステムRAM側で処理できる。LM StudioにもGPU offload量を調整する設定がある。

12GBを少し超える条件でも、この方法で起動できる場合がある。ただし、CPU側へ多く残すほどGPUだけで処理する場合と同じ速度になるとは限らない。

12GBの実用性を見るときは、起動できるかではなく、必要なモデルをどの程度offloadせず使えるかまで見た方がよい。GPUオフロード・CPUオフロードとは？では、その調整順を詳しく説明している。

画像生成では、同じworkflowに対する余裕が増える

画像生成AIでも、12GBは8GBより明確に余裕がある。ただし「12GBならStable Diffusionは全部快適」という意味ではない。

必要VRAMは、モデルの世代や構成、数値精度、解像度、batch、VAEやテキストエンコーダーの配置、ControlNetなどの追加component、使用するランタイムによって変わる。

同じモデル・同じworkflowなら、使えるVRAMが増えたぶんOOMまでの余裕は広がる。その余裕を、解像度に使うのか、追加componentに使うのか、複数枚生成に使うのかで結果は変わる。

12GBだから最初から全部を上げるのではなく、まず必要なworkflowを1枚生成し、VRAM使用量を見ながら増やした方が限界を把握しやすい。

12GBでも大型の画像生成pipelineは別問題

新しい画像生成モデルの中には、12GBを大きく超えるメモリを前提にすると扱いやすいものもある。

Hugging FaceのDiffusersドキュメントでは、Stable Diffusion 3について、メモリ節約設定なしでは24GB未満のGPUで扱うのが難しい場合があると説明している。

これは「画像生成には24GB必要」という意味ではない。同じ画像生成という用途でも、pipelineによって要求が大きく違うことを示している。

12GBで大きなpipelineを使う場合は、CPU offloadや量子化、VAEの分割処理などを組み合わせることになる場合がある。そのときは「生成できた」だけでなく、毎回の待ち時間やシステムRAM使用量も確認したい。

画像生成のメモリ節約は、速度との交換になることがある

Diffusersには、GPUメモリを節約するための複数の方法がある。

• 使っていないモデルをCPUへ移すmodel CPU offload
• より細かくCPUとGPUの間を移動させるsequential CPU offload
• モデルをグループ単位で移動させるgroup offloading
• VAEを分割して処理するslicingやtiling

これらを使えば、12GBを超える構成でも処理できる場合がある。一方、CPUとGPUの間でデータを移す回数が増えたり、システムRAMを多く使ったりすると、生成時間は伸びることがある。

つまり12GBでも、「動く設定」と「普段使いたい設定」は分けて考える必要がある。

ComfyUIで実際にCUDA out of memoryが出た場合は、ComfyUIのCUDA out of memoryを直す確認順に沿って、解像度、batch、追加component、他プロセス、offloadを一項目ずつ切り分けると原因を見つけやすい。

8GBから12GBで何が変わるのか

8GBと12GBの差は、単純な「できる / できない」の境界ではない。

VRAM 8GBでもローカルAIは使える？で説明したように、8GBでも量子化やoffload、設定調整によって試せる処理はある。12GBでは、その同じ処理に対して4GBぶんの追加余裕ができる。

見るポイント	8GBで余裕が少ない場合	12GBで確認したいこと
LLMの配置	CPUへ残す層が増えやすい	同じモデルをGPUへより多く載せられるか
コンテキスト	長くすると余裕が減りやすい	必要な長さまで上げても安定するか
画像生成	解像度・batch・追加componentを早めに削る場合がある	必要なworkflowを削らず1枚生成できるか
offload	動作させるために使う場面が増える	offloadなし、または少ないoffloadで実用速度になるか

重要なのは、12GBになったから設定を最大化することではない。8GBで必要だった妥協のうち、どれを戻せるかを見ると差が分かりやすい。

12GBのPCで最初に試すなら、この順番が分かりやすい

12GB GPUをすでに持っているなら、まず買い替えを考える必要はない。手元のGPUで必要用途を一度実行し、何が本当の制約かを確認する。

LLMなら

WindowsでGUIから始めるなら、LM StudioをWindowsへ入れて最初のモデルを動かす手順から始められる。

LM Studioには、モデルを読み込む前にGPUメモリや総メモリの使用量を見積もる機能がある。見積もりは実測そのものではないが、モデル、コンテキスト、GPU offloadを変えたときの差を見る材料になる。

1. 用途に合う量子化モデルを選ぶ
2. 必要以上に長くないコンテキストから始める
3. まずGPU側へどの程度収まるか確認する
4. 収まらなければ量子化・コンテキスト・offloadを順に調整する
5. 起動後は応答速度とシステムRAMも見る

これで十分なら、12GBのままでよい。

画像生成なら

画像生成では、基本workflowをbatch 1で一度動かし、その後に必要なものだけ増やす。

1. 使いたいモデルを基本構成で読み込む
2. まず1枚生成する
3. VRAMに余裕があれば、必要な解像度や追加componentを一つずつ増やす
4. OOMになった変更点を特定する
5. 必要ならoffloadやtilingを使い、生成時間も確認する

12GBの余裕をどこへ使ったのかが分かるように、一度に複数の設定を上げない方が判断しやすい。

12GBのままで十分な人、上位VRAMを考える人

12GBで日常的に使いたい処理を満たせるなら、VRAMが多いという理由だけでGPUを交換する必要はない。

12GBのままでよい可能性が高いのは、必要なLLMや画像生成workflowが安定して動き、待ち時間や設定の妥協に不満がない場合だ。

一方、次のような制約が繰り返し発生するなら、16GB以上を検討する理由が出てくる。

• 普段使うLLMで大きなpartial offloadが必要になり、速度が用途に合わない
• 必要なコンテキスト長まで上げるとVRAM不足になる
• 必要な画像モデル・解像度・追加componentを組み合わせるとOOMになる
• offloadで動くが、毎回の待ち時間を許容できない
• 一時的な試用ではなく、高負荷なworkflowを日常的に繰り返す

この時点なら、「もっとVRAMが欲しい」という理由が具体的になっている。

次の容量を選ぶときは、16GB・24GB・32GBを単なる性能順位ではなく、必要な処理をどこまでGPU側へ置きたいかで比べたい。ローカルAI向けGPUは16GB・24GB・32GBのどれを選ぶ？では、その購入判断を分けている。

12GBは、ローカルAIでかなり試しやすい容量だが、万能な境界線ではない。まず手元の12GBで必要な処理を動かし、offload、OOM、待ち時間のどれが本当に問題になるのかを見る。それで不足しなければ、そのGPUを使い続けるのがいちばん合理的だ。