Stable Diffusionをローカルで始める前に読む全体像｜モデル・LoRA・サンプラー・UIをまとめて理解

Stable Diffusionをローカルで始めようとすると、最初から知らない言葉が大量に出てくる。

Checkpoint、LoRA、VAE、サンプラー、Scheduler、CFG、シード、Hires.fix、ControlNet。さらにAUTOMATIC1111、Forge、Forge Neo、ComfyUIと、実行するUIまで複数ある。

この状態で「おすすめ設定」を一つずつ覚えようとすると、すぐに混乱する。

しかし、全部を同じ種類の設定として覚える必要はない。

ローカル画像生成は、役割の違う部品が一つの画面に集まっている。

まず全体を分け、そのあと必要なところだけ深く掘る方が分かりやすい。

図を拡大して見る

図1：画像生成の設定は一列の品質スライダーではない。UI、モデル、追加学習、条件入力、サンプリング、VAE、後処理という別々の場所に作用する。

まず全体を8つに分ける

層	何を決めるか	代表例
管理アプリ	UIとモデル資産をどう管理するか	Stability Matrix、単体インストール
UI / 実行環境	どう操作し、ワークフローを組むか	Forge Neo、ComfyUI、AUTOMATIC1111
モデル系列	どの生成基盤を使うか	SD1.5、SDXL、Stable Diffusion 3.5、FLUX、Qwen-Image
モデル・追加学習	何を描きやすくするか	Checkpoint、LoRA、Embedding
画像表現	潜在表現と画像の変換をどう扱うか	VAE
サンプリング	ノイズから画像へどう進むか	サンプラー、Scheduler、ステップ数、シード
条件付け	指示をどう効かせるか	プロンプト、Negative プロンプト、CFG
ワークフロー / 後処理	生成後に何をするか	img2img、インペイント、ControlNet、IP-Adapter、アップスケール

この層を分けるだけで、「LoRAを変えた問題」と「サンプラーを変えた問題」と「VRAM不足」を同じ場所で考えなくて済む。

「Stable Diffusion」はモデル名と広い通称を分けて考える

本来、Stable DiffusionはStability AIが公開してきた画像生成モデル系列の名前だ。

Stability AIの公式モデル一覧では、2026年5月20日更新時点でもStable Diffusion 3.5 Medium、Large、Large Turboなどが画像モデルとして掲載されている。

一方、ローカル画像生成の会話では「Stable Diffusionをやりたい」が、WebUIを使ったローカル画像生成全般の意味で使われることもある。

ここは区別したい。

FLUXやQwen-ImageはStable Diffusionそのものではない。ただし、ComfyUIなど同じローカル画像生成環境から扱えることがある。

モデル系列としてのStable Diffusionと、Stable Diffusionを入口に広がったローカル画像生成環境を分けて扱う。

モデル系列そのものを選ぶなら、Stable Diffusion・SDXL・FLUX・Qwen-Imageはどう選ぶ？から入ると整理しやすい。

最初の分岐は「どう管理して、どのUIで使うか」

画像を生成するモデルと、生成を操作するUIは別物だ。

さらに、UIをどうインストール・更新し、モデル資産をどこへ置くかという管理層も別に考えられる。

2026年に複数UIを試したいなら、Stability Matrixを入口にする方法が実用的だ。

公式対応一覧ではForge NeoとComfyUIの両方が現行パッケージとして掲載され、共有ModelsライブラリからCheckpoint、LoRA、VAEなどを管理できる。

そのため、最初にForge Neoを入れて生成を覚え、あとからComfyUIを追加する構成を作りやすい。

Forge Neo / AUTOMATIC1111系

AUTOMATIC1111系のUIは、プロンプト、Negative プロンプト、サンプラー、ステップ数、CFG、解像度などをフォームへ入力して生成する考え方が中心になる。

Forge Neoもこの操作感を引き継ぐため、最初のtxt2imgまでにノード構成を理解する必要がない。

まず1枚生成したい、CheckpointやLoRAを切り替えながら設定を覚えたいなら、フォーム型WebUIは強い入口になる。

ただしForge NeoはlllyasvielのForgeそのものが名前を変えたものではない。Forgeから派生した継続フォークとして、上流Forgeと区別して扱う必要がある。

ComfyUI

ComfyUIはモデル読み込み、テキストエンコード、潜在表現生成、サンプリング、VAEデコード、保存などをノードとしてつなぐ。

フォームの裏側に隠れている処理をグラフとして表へ出すため、最初は難しく見える。一方、複雑な処理の再利用、分岐、ControlNet、動画生成、自動化へ伸ばしやすい。

ComfyUIから始める場合は、Windows版の導入から最初の1枚を生成する手順へ進めばよい。

UIを比較するときは「どれが一番高画質か」より、フォームですぐ生成したいか、生成処理そのものを組みたいかを見る方が実用的だ。

Checkpoint・LoRA・VAEは同じ種類のファイルではない

.safetensorsという同じ拡張子で配布されていても、役割は同じとは限らない。

簡略化すると、

• Checkpoint：生成の中心になるモデル
• LoRA：ベースモデルへ追加する差分
• VAE：画像と潜在表現の変換に関わる
• Embedding：テキスト側の条件表現へ追加する資産

と分けるとよい。

特に重要なのは互換性だ。

SD1.5向けLoRA、SDXL向けLoRA、別アーキテクチャ向けLoRAは、方式名が同じだからといって自由に入れ替えられるわけではない。

ファイルを追加する前に、配布ページでベースモデルと対象ワークフローを確認する。

この部分はすでにComfyUIのチェックポイント・VAE・LoRAは何が違う？で個別に整理している。

シード・ステップ数・CFG・サンプラーを「画質つまみ」としてまとめない

生成設定も役割が違う。

• シード：ノイズの初期条件に関係する
• ステップ数：デノイズを何段階で進めるか
• CFG：テキスト条件をどの程度強く効かせるかに関係する
• サンプラー：サンプリングで使う数値的方法
• Scheduler：各ステップでノイズ量をどう変えるか

重要なのは、数値を増やせば一方向に品質が上がるわけではないことだ。

Stable Diffusion 3.5 Large Turboのように少ないステップを前提とするモデルもある。別モデルで使っていたステップ数やCFGを、そのまま新しいモデルへコピーして最適値と考えない方がよい。

設定を比べるなら、モデル、プロンプト、解像度、シードなどを固定し、一項目ずつ変える。

ComfyUIではシード・ステップ数・CFG・サンプラーの違いで比較方法までまとめている。

SD1.5・SDXL・SD3.5は単純な上位互換ではない

新しい世代が出たからといって、古い世代の価値がゼロになるわけではない。

SD1.5、SDXL、Stable Diffusion 3.5では、アーキテクチャ、必要な構成要素、使える追加学習資産、得意なワークフローが異なる。

特定のCheckpointやLoRAを使いたいなら、その資産がどのベースモデル向けかがモデル選びを決めることもある。

SDXLではBaseとRefinerを分ける構成があるが、Refinerは必須ではない。SDXL BaseとRefinerの違いで追加する意味を分けて確認できる。

Stable Diffusion 3.5内でもLargeとMediumは同じ配布物の品質設定ではない。Stable Diffusion 3.5 LargeとMediumの選び方では、モデル規模だけで順位付けせず、生成構成やPC条件から選ぶ。

ここでは細部を重複させず、CheckpointやLoRAを入れる前にベースモデルを確認することを最初の基準にする。

VRAMはモデル名だけで必要量を決めない

「Stable Diffusionなら8GB」「SDXLなら12GB」といった固定表だけでGPUを選ぶと危ない。

実際のメモリ使用量は、

• モデルとリビジョン
• 演算精度や量子化
• テキストエンコーダーの置き場所
• VAE
• 解像度
• バッチサイズ
• ControlNetなどの追加処理
• CPUオフロード
• UI / 実行基盤

でも変わる。

Stability AIが示すVRAM値も、何を含む値なのか条件を読む必要がある。

GPU購入の判断は画像生成用GPUのVRAMは8GB・12GB・16GB・24GBで何が変わる？へ分けている。

最初の1枚ができたら、目的別ワークフローへ進む

最初から全部を入れる必要はない。

元画像を残しながら変えたい

ComfyUIのimg2imgとノイズ除去へ進む。

一部分だけ直したい

ComfyUIでインペイントする方法で、マスクした範囲だけを編集する考え方を確認する。

ポーズ・輪郭・深度を条件にしたい

ControlNetでポーズ・端末・Depthをどう選ぶ？へ進む。

参照画像の特徴を使いたい

IP-Adapterを使う前に確認することで、参照画像とプロンプトの役割を分ける。

大きくしたい

潜在表現アップスケールと画像アップスケールの違いで、生成途中を拡大するのか、完成画像を拡大するのかを選ぶ。

OOMが出たら「GPUが弱い」で終わらせない

CUDA out of memoryが出ても、即座にGPU買い替えが必要とは限らない。

解像度、バッチ数、追加モデル、演算精度、オフロード、前回ワークフローの残存など、確認する条件は複数ある。

ComfyUIならCUDA out of memoryの切り分けから順番に確認する。

最初の環境は意図的に小さく作る

最初から100個のCheckpointと200個のLoRAを集める必要はない。

最初は次の順番で十分だ。

1. Stability Matrixを使うか、単体UIにするか決める
2. 最初のUIをForge NeoかComfyUIから一つ選ぶ
3. ベースモデルが明確なCheckpointを一つ入れる
4. 推奨される基本条件で1枚生成する
5. 成功した画像と設定を保存する
6. シードを固定してステップ数やCFGを一項目ずつ比較する
7. LoRAを一つだけ追加する
8. img2img、インペイント、ControlNet、アップスケールへ一つずつ進む
9. 必要になったら2つ目のUIを追加する

この順番なら、出力がおかしくなったときに原因を切り分けやすい。

Stable Diffusion系のローカル画像生成は、設定項目が多いから難しいのではない。

別の役割を持つ部品が、一つの生成環境に集まっているから複雑に見える。

まず全体を分ける。

そのあと、自分の用途に必要な専門記事だけを読めばよい。