VRAM 8GBでもローカルAIは使える？LLM・画像生成AIでできること

VRAM 8GBでも、ローカルAIを試せるケースはある。8GBだからLLMも画像生成も動かない、というわけではない。

一方で、8GBあれば何でも問題なく使えるわけでもない。大きなモデル、長いコンテキスト、高い解像度、複雑な画像生成ワークフローほど余裕は減る。VRAMに収まらない部分をCPUとシステムRAMへ逃がせても、今度は待ち時間が長くなることがある。

少なくともLM StudioのWindows向け公式要件では、専用GPUを使う場合はVRAM 4GB以上が推奨されている。これは4GBや8GBで個別のLLMが動く保証ではないが、8GB GPUそのものがローカルLLM用ソフトの入口で除外されるわけではないことは分かる。

8GBで大切なのは、「動く」「実用的」「快適」を同じ意味にしないことだ。

状態	この記事での意味
動く	条件を調整すれば処理を完了できる
実用的	普段の用途で、待ち時間や設定の妥協を許容できる
快適	使いたい設定を大きく削らず、メモリを頻繁に気にせず使える

8GBは「何もできない容量」ではない。ただし、どこまで実用的かはAIの種類と使い方でかなり変わる。

図を拡大して見る

図: 容量・設定値・段階差の判断軸を1枚に整理。数値の条件は本文を優先する。

8GBでまず試しやすいのは、条件を小さく始められる使い方

LLMと画像生成では、VRAMの使い方が同じではない。それでも8GBで試すときの考え方には共通点がある。最初から一番大きなモデルや重い設定を選ばず、軽い条件で一度動かしてから必要な部分だけ上げることだ。

用途	8GBでの始め方	余裕がなくなりやすい条件
ローカルLLM	小さめのモデルや軽い量子化、必要以上に長くないコンテキストから始める	大きなモデル、長いコンテキスト、GPUへ多く載せる設定
画像生成	単純なワークフロー、batch 1、控えめな解像度から始める	大きな画像生成モデル、高解像度、複数枚同時生成、追加モデルを多く使う構成

この表は「この条件なら8GBで必ず動く」という対応表ではない。実際のメモリ使用量はモデルやランタイムで変わる。8GBという容量だけから、特定モデルの動作可否を固定することはできない。

また、ここで扱うのは主にLLMの推論と画像生成だ。学習やファインチューニングは別のメモリ条件になるため、8GBの可否をこの記事からそのまま当てはめることはできない。

LLMは「モデルが8GB未満なら入る」とは限らない

ローカルLLMでは、モデルファイル以外にもメモリを使う。

代表的なのが、入力や会話履歴を処理するときに使うKVキャッシュと、ランタイムが必要とする作業領域だ。そのため、6GBのGGUFファイルを見つけても「8GB VRAMなら残り2GBある」と単純には計算できない。

配布ファイル容量、VRAM、システムRAM、実行時メモリの違いはLLMのファイルサイズ・VRAM・RAM・実行時メモリの違いで詳しく分けている。

8GBでLLMを試すときは、主に3つの調整が効いてくる。

1. 小さめのモデルや量子化を選ぶ

量子化されたモデルは、重みをより少ないbit数で表すことで重み本体のメモリ負担を減らせる。ただし、量子化したから総VRAMも同じ割合で小さくなるわけではない。KVキャッシュや作業領域は別に必要になるからだ。

「量子化すると何が小さくなり、何がそのまま残るのか」はAIの量子化とは？なぜVRAMが減り、なぜ品質に影響するのかで説明している。実際にGGUFを選ぶ段階ではQ4・Q5・Q6・Q8の違いまで進むと候補を絞りやすい。

8GBでは、最初から「できるだけ大きいモデルをどうにか載せる」より、用途を満たす範囲で小さな候補から始めた方が結果を判断しやすい。

2. コンテキスト長を必要以上に大きくしない

長いコンテキストを使うほど、KVキャッシュなどのメモリも増える。モデルが128Kやそれ以上の長い入力に対応していても、その最大値を常に設定する必要はない。

普段の用途でそこまで長い履歴を使わないなら、必要な長さから始める方が8GBでは扱いやすい。コンテキスト長とKVキャッシュがVRAMへ与える影響を知っておくと、モデル自体を変える前に調整できる部分が分かる。

3. 収まらない部分をCPUとRAMへ置く

llama.cpp系のランタイムでは、モデルの一部をGPUへ載せ、残りをCPUとシステムRAM側で処理するpartial offloadが使える。LM StudioにもモデルごとのGPU offloadやコンテキスト設定がある。

これにより、VRAMだけでは収まらないモデルを起動できる場合がある。ただし、VRAMが増えたわけではない。CPU側の処理やGPUとのデータ転送が増えるため、すべてをGPUへ置ける構成より遅くなることがある。

そのため8GBでは、「起動できた」だけで終わらず、最初の応答までの時間や生成中の速度まで確認したい。調整順はGPUオフロード・CPUオフロードとは？で詳しく扱っている。

画像生成は「Stable Diffusionなら何GB」と一つの数字にできない

画像生成AIも、8GBだから一律に無理ということはない。ただし、「Stable Diffusion」という名前だけで必要VRAMを決めることもできない。

同じ画像生成でも、使うモデルの世代や構成、数値精度、解像度、batch、VAEやテキストエンコーダーの配置、ControlNetなどの追加コンポーネントによってメモリ使用量が変わる。

新しい大きなパイプラインでは、8GBとの差がかなり大きい場合もある。Hugging FaceのDiffusersドキュメントでは、Stable Diffusion 3について、メモリ節約設定なしでは24GB未満のGPUで扱うのが難しい場合があると説明している。

これは「Stable Diffusionは24GB必要」という意味ではない。Stable Diffusion系でもモデルごとに条件が違うことを示す例だ。より軽い構成と、大きな最新パイプラインを同じVRAM条件として扱うことはできない。

8GBで画像生成を始めるなら、最初は次のように条件を単純にした方が原因を追いやすい。

1. 追加コンポーネントを増やさず、基本のモデルだけで試す
2. batchは1枚から始める
3. いきなり高解像度へ上げず、控えめな設定から始める
4. ブラウザーや別のAIソフトなど、GPUを使うアプリを必要に応じて閉じる
5. 動いた後に、解像度や追加モデルを一つずつ増やす

ここでも、特定の解像度を「8GBなら安全」と固定することはできない。モデルとワークフローが変われば必要VRAMも変わる。

画像生成でも、VRAMを節約する方法はある

Hugging Face Diffusersには、モデルの一部をCPU側へ移すoffload、処理する部品を順番に移動させる方法、VAEを分割して処理するslicingやtilingなど、GPUメモリ使用量を抑える仕組みが用意されている。

こうした方法を使うと、GPUへすべてを置くより少ないVRAMで処理できる場合がある。ただし、CPUとGPUの間でデータを移す回数が増えたり、システムRAMを多く使ったりするため、生成時間は同じとは限らない。

つまり画像生成でも、8GBで動かすための設定と、8GBで気持ちよく使える設定は別だ。

ComfyUIで実際にCUDA out of memoryが出た場合は、解像度、batch、追加モデル、offloadを一度に全部変えるより、ComfyUIのCUDA out of memoryを直す確認順に沿って一項目ずつ切り分けた方が限界を見つけやすい。

少ないVRAMでも動くのは、全部をGPUへ置く必要がない場合があるから

「VRAM 8GBでも動くことがある」と聞くと、8GBの中へ本来もっと大きなデータが無理やり圧縮されているように見えるかもしれない。実際には、いくつか別の方法が組み合わさっている。

LLMでは、量子化でモデルの重みを軽くしたり、一部の層をCPUとRAMへ残したりできる。画像生成では、パイプラインの部品を必要なタイミングでGPUへ移し、使い終わった部分をCPUへ戻す方法がある。

その結果、同時にVRAMへ置いておく量を減らせる。

ただし、その代わりにシステムRAMやCPU処理、データ転送を使う。VRAM不足を消したように見えても、負荷が別の場所へ移っただけの場合もある。

8GB PCではGPUだけでなく、タスクマネージャーなどでシステムRAMの使用量も一緒に見ると状況を理解しやすい。offload中にRAMまでほぼ埋まるなら、次のボトルネックはGPUではなくPC全体のメモリかもしれない。

8GBで妥協することになりやすいもの

8GBでローカルAIを使うとき、毎回すべてを削る必要があるわけではない。使いたい処理によって、どこを妥協するかが変わる。

項目	8GBで余裕が少ないときに起きやすいこと
LLMのモデル	より小さいモデルや軽い量子化へ変更する
コンテキスト長	最大値ではなく、実際に必要な長さへ下げる
GPUへの配置	一部をCPU/RAMへoffloadする
応答速度	CPU側の処理が増えると待ち時間が長くなることがある
画像の解像度	高解像度を一度に処理せず、設定を下げる・分割処理を使う
batch	複数枚同時ではなく1枚ずつ生成する
追加機能	ControlNetなどを含む複雑な構成を一度に載せない
同時利用	他のGPU利用アプリを減らし、使えるVRAMを確保する

この中で、自分の用途に関係のない妥協は問題にならない。

たとえば短い文章の要約や簡単なチャットが目的なら、巨大なコンテキストを使えなくても困らないことがある。画像も1枚ずつ生成する使い方なら、batchを増やせないことは大きな制約にならない。

逆に、必要なモデルや設定を使うたびに大きな妥協が必要なら、そこで初めて8GBの限界が見えてくる。

まず今あるPCで試すなら、この順番から始めやすい

8GB GPUを持っているなら、最初からAI用PCを買う必要はない。まず現在のPCで、何が不足するのかを確認した方が次の判断がしやすい。

LLMを試す

WindowsでGUIから始めるなら、LM StudioをWindowsへ入れて最初のモデルを動かす手順から始められる。

最初の一回は、大きさを欲張らず、小さめの量子化モデルを選ぶ。コンテキストも最大値へ上げず、普段必要な範囲にする。それで応答速度とGPU・RAM使用量を確認する。

LM Studioには、モデルを読み込む前にGPUメモリと総メモリの使用量を見積もる機能もある。見積もりは実測そのものではないが、コンテキスト長やGPU offloadを変えたときに必要メモリがどう動くかを見る手掛かりになる。

十分に余裕があれば一段大きい候補を試す。VRAMに収まらなくなったら量子化、コンテキスト、offloadの順に原因を分ける。この手順なら「8GBだから無理」ではなく、自分の用途ではどこから厳しくなるのかが分かる。

画像生成を試す

画像生成では、まず単純なワークフローを1枚生成できる状態にする。そこから解像度、追加コンポーネント、複数枚生成を一項目ずつ増やす。

最初から複雑なワークフローを読み込み、OOMになってから全部を下げるより、どの変更で8GBを超えたのか追いやすい。

速度も記録しておきたい。offloadで生成できても、毎回の待ち時間が自分の用途には長すぎるなら、それは「動くが実用的ではない」という判断になる。

GPUを買い替えるのは、8GBの限界が用途にぶつかってからでいい

8GBで一度試してみて、必要な用途を満たしているなら、VRAMが多いという理由だけでGPUを買い替える必要はない。

上位容量を検討する意味が出るのは、たとえば次のような場合だ。

• 普段使いたいLLMが強いpartial offloadを必要とし、待ち時間を許容できない
• 必要なコンテキスト長まで上げると毎回メモリ不足になる
• 使いたい画像生成モデルや解像度では、設定を大きく下げないと安定しない
• 必要な追加コンポーネントを組み合わせるとOOMになる
• 試用ではなく、同じ高負荷処理を日常的に繰り返したい

この段階まで来れば、「もっとVRAMが欲しい」が具体的な要件になる。

「8GBでは少し窮屈だが、16GB以上が必要かはまだ分からない」という場合は、VRAM 12GBならローカルAIはどこまでできる？で、8GBから増える4GBの余裕がLLMと画像生成で何を変えるかを確認できる。

容量を増やす場合も、16GB、24GB、32GBを単純な性能順位として選ぶのではなく、どの処理をGPU側へ置きたいかで考える。ローカルAI向けGPUは16GB・24GB・32GBのどれを選ぶ？では、その購入判断を分けている。

8GBはローカルAIの入口として即失格になる容量ではない。まず軽い条件で一度動かし、速度や設定の妥協が自分にとって問題かを確かめる。その結果として足りなければ、次に必要なVRAM容量もかなり具体的に見えてくる。