Stable Diffusionをローカルで始める前に読む全体像｜モデル・LoRA・UI・VRAMを整理

モデルは絵を作るための学習済みデータ、UIは文章や画像サイズを入力する画面です。この記事では、この組み合わせから始めて、生成と保存、その後に試せることまで順に見ていきます。最初の目標は、自分のPCで一枚を作り、保存した絵を開くことにしましょう。

最初はSDXLと、操作するUIを一つ選ぶ

まだ使いたいモデルが決まっていないなら、SDXLから始めるのがおすすめです。基本のSDXL Baseで一枚を作ってから、好みの描写をする派生モデルへ広げられます。ComfyUIで一枚生成する手順には、使うモデルと設定、保存までの操作をまとめています。

Stable DiffusionにはSD1.5、SDXL、SD3.5などの系列があり、FLUXやQwen-Imageは別系列です。同じComfyUIから使う場合も、モデルやLoRAを自由に交換できるわけではありません。すでに使いたいファイルを見つけているなら、配布ページのベースモデルを先に見てください。SD1.5・SDXL・SD3.5の違いで、その系列に合わせた選び方を確かめられます。

次は操作するUIを選びます。文章やサイズを入力欄から変えて作りたいならForge Neo、生成や拡大などの処理をつないで使いたいならComfyUIが候補です。Forge NeoはAUTOMATIC1111を基にしたForgeの派生版で、文章から画像を作るtxt2imgの操作を一画面で進められます。Stability MatrixではNVIDIAを中心としたパッケージとして案内されているので、自分のGPUと導入する版の対応を確かめてください。WindowsのNVIDIA環境なら、Stability MatrixでForge Neoを導入する手順から始められます。

ComfyUIを選んだ場合も、最初から配線を自作しなくて大丈夫です。用意された基本ワークフローを開き、モデルと文章を選んで始められます。ComfyUIで最初の一枚を生成する手順には、起動後に使うJSONと実画面を載せています。

複数のUIを試す予定なら、導入や更新をまとめるStability Matrixも便利です。これは管理アプリで、実際に絵を作るときは、その中からForge NeoやComfyUIを起動します。実行環境を分けながらモデルの保存先を共有できるので、大きなファイルを重複して置く量を減らせます。パッケージを選ぶときは、Legacyに分類される旧ForgeやForge Classicと、Forge Neoを区別しましょう。

Forge Neoでモデルを入れて最初の一枚を作る

ここからは、Forge Neoの操作画面を開けたところから進めます。まだ開けない場合だけ、Stability Matrixの導入と起動を先に終えてください。以下はStability Matrixの共有モデルを使う構成です。

最初はSDXL Baseだけで湖畔の木の家を描いてみましょう。VAEとテキストエンコーダーを含むモデルなので、追加のLoRAやRefinerをそろえる前に一枚を試せます。以下の作例・画面は2026年10月14日のForge Neo neo-2.30の記録です。今回の導入記事で確認したneo-2.31と表示が異なる場合は、項目名を見比べてください。

SDXL Baseを入れて、Forge Neoで選ぶ

SDXL Baseの公式配布ページから sd_xl_base_1.0.safetensors をダウンロードします。似た名前のsd_xl_base_1.0_0.9vae.safetensorsとは別ファイルなので、ファイル名と利用条件を確認してください。

ダウンロードが終わったら、Stability Matrixの「Checkpointマネージャー」を開きます。「… → モデルフォルダ」からエクスプローラーを開き、Models → StableDiffusionへ進んでください。そこへ、取得したsd_xl_base_1.0.safetensorsをコピーします。ZIPやダウンロード途中のファイルではなく、名前が最後まで一致するモデル本体を置きましょう。

Checkpointマネージャーに戻って「更新」を押し、sd_xl_base_1.0が一覧に出ることを確認します。サムネイルが「画像が見つかりません」と表示されても、モデル名とファイル名が出ていれば、画像の見本がないだけの場合があります。

この時点で確かめられたのは、Stability Matrixがモデルを見つけたことです。Forge NeoのCheckpoint欄でも同じファイルを選びます。マネージャーに見えているのにForge Neoに出ない場合は、先ほどのパッケージでモデル共有を選んだかと、コピー先がModels → StableDiffusionかを見直しましょう。

Forge Neoを起動したままモデルを置いた場合は、ブラウザー上部のCheckpoint欄の右にある🔄（Refresh）を押し、Forge Neo側のモデル一覧も更新してください。Stability Matrixの「更新」だけでは、開いたままのForge Neoの表示まで更新されません。出てこなければStability MatrixでForge Neoをストップし、もう一度Launchしてから確認します。

生成画面では「txt2img」を開き、UI Presetを先にxlへ切り替えてからCheckpointでSDXL Baseを選びます。プリセットを後から変えるとモデル選択が変わる場合があるためです。「VAE / Text Encoder」はモデル内蔵のものを使うので空欄にします。

一枚を生成してPNGを開く

Forge Neoのtxt2img画面のPromptへ、次の英文を貼り付けます。湖のほとりの木の家、窓の暖かな光、穏やかな夕方を、水彩風の柔らかい色で描いてほしいという指定です。

a small wooden cabin beside a mountain lake, pine trees, warm light glowing from the windows, peaceful evening, watercolor illustration, soft colors, no people

Negative Promptには、文字、透かし、ぼやけた描写を避けるために次を入れます。

text, watermark, blurry

項目	値
Sampling Method / Schedule Type	DPM++ 2M / Karras
Sampling Steps	30
Width / Height	1024 / 1024
CFG Scale	7
Batch Count / Batch Size	1 / 1
Seed	20261014
Hires. fix / Refiner	無効
LoRA / ControlNet	追加しない

文章を入れたら、設定を表と見比べます。Sampling Methodは計算の進め方、Schedule Typeはノイズ量の配分、Stepsは計算を進める区間数の目安です。CFG Scaleは、文章の指定へどのくらい寄せるかを調整します。ここでは意味を全部覚えるより、表の値にそろえて一枚作ってみましょう。

Batch CountとBatch Sizeは両方1にし、Hires. fix、Refiner、LoRA、ControlNetは追加しません。一枚できてから設定を変える方が、どこが効いたのか分かりやすくなります。

「Generate」を押して画像が出るまで待ちます。検証機では初回生成時に27.4秒と表示されましたが、GPUによって時間は変わります。結果欄に画像が表示されたら、下のフォルダボタンで保存先を開きます。

開いた保存先の「txt2img-images」へ進み、生成した日付のフォルダを開きます。中のPNGをダブルクリックしてみましょう。Forge Neoの画面を離れても、さっき作った絵を見られたら保存まで成功です！

二枚目は画風を変えてみる

Promptの「watercolor illustration」を「oil painting」に変えて、もう一度Generateを押してみてください。水彩風から油絵風へ頼み方を変えると、色や筆の跡にどんな違いが出るでしょうか。新しいPNGも保存し、最初の一枚と並べてみましょう。

ほかの設定はそのままにしておくと、変えた言葉の影響を追えます。画風を比べた後、別の構図も見たくなったらSeedを-1にして試してみてください。

モデル・生成で止まったとき

症状	次に確認すること
Checkpointにモデルがない	ファイル名、StableDiffusionフォルダ、一覧の更新
xlへ切り替えるとモデルが変わる	xlを選んだ後でSDXL Baseを選び直す
CUDA out of memory	Batchを両方1にし、Hires. fixとRefinerを無効にする
保存場所が分からない	結果画像の下のフォルダボタンを押す

メモリ不足が続く場合は、最後に動いた設定へ戻します。まだ一枚もできていないなら、Batchを両方1にしたまま画像サイズを下げ、一つずつ試してください。モデルを別ドライブへ置くことは、GPUメモリ不足の対処にはなりません。PCの購入も考える段階なら、画像生成を含むBTOの構成選びで必要な容量を絞れます。

作例の検証環境と実測

手順と作例は2026年10月14日に、Windows 11 Home x64、RTX 5090（VRAM 32GB）、RAM 64GB、Stability Matrix 2.16.4、Forge Neo neo-2.30で確認した記録に基づきます。検証時のGPUドライバーは617.42、Pythonは3.13.15、PyTorchは2.11.0+cu130でした。

アプリ本体とDataは約13.0GB、Forge Neoの初回導入はモデル取得を除いて約7分、Web UIの起動処理は23.7秒、初回生成は画面表示で27.4秒でした。容量には取得元モデルや一時キャッシュを含めていません。別のPCや回線で同じ値になるとは限りません。

モデルをダウンロードするときに見る三つの名前

配布ページにCheckpointとあれば、生成の土台になるモデルです。今回はSDXLで始めるので、種類に加えて、対応する系列がSDXLかも見てください。

LoRAは、土台のモデルへ学習した特徴を加えるファイルです。好みの描き方や特徴を使いたくなったときに試せます。SD1.5用、SDXL用、FLUX用はそれぞれ対応が違うので、配布ページにあるモデル系列と推奨Checkpointを見て選びましょう。.safetensorsという拡張子だけでは、ファイルの種類も互換性も分かりません。

VAEは、画像と、生成計算で扱う「潜在表現」というデータの間を変換します。文章から作るときは計算結果を見える画像へ戻し、元画像を描き直すときは、その画像を計算に使う形へ変える役目もあります。Checkpointに含まれている構成と、別に用意する構成があります。

文章をモデルが扱える形へ変えるテキストエンコーダーも必要で、こちらもモデルによっては別配布です。SDXL Baseで始める手順と別系列の手順を混ぜず、使うモデルの案内に沿ってそろえてください。

最初は配布元の基本ワークフローが指定するファイルだけをそろえましょう。 SDXL Baseだけでも生成を始められるので、LoRAやEmbedding、Refinerといった任意の追加機能は、一枚できてから試せます。

EmbeddingやRefinerも必要？

Embeddingは、ここではTextual Inversionで学習した表現を指します。対応するテキスト条件へ加えて使うもので、初回生成に必須の追加ファイルではありません。

SDXLのRefinerは生成の後半などを担う別モデルです。完成画像にかける一般的なフィルターとは役割が違います。最初はSDXL Baseだけで始め、必要になったときに追加できます。

一枚生成したら、画像と設定を残す

モデルをUIから選べたら、配布元の推奨条件で生成してみます。最初は同時に一枚だけ作り、LoRAなどの追加モデルや拡大処理は後から足しましょう。ComfyUIで進める場合は、初回生成の記事のJSONを開くと、モデル、文章、生成設定を見比べながら操作できます。

絵が出たらPNGを保存し、画像ビューアーで開いてみてください。PCに自分の絵が残ると、次はどこを変えようかと考えやすくなります。モデル名と版、文章、サイズ、生成設定も残し、ComfyUIではワークフローを保存します。気に入った一枚へ戻れる状態にしてから、次を試しましょう。

ここからは、その画像を見て一つずつ変えていきます。主に使う設定は次のとおりです。

設定	何を変えるか
シード	初期ノイズなどに使う乱数の起点
ステップ数	画像を作る計算を進める段階の数
CFG	プロンプトの指定へどのくらい強く寄せるか
サンプラー	次の状態をどう計算して絵を作るか
Scheduler	計算に使うノイズ量などの並びをどう作るか

SD3.5でも、Large・Medium・Large Turboは同じ設定で使うモデルではありません。Large Turboは少ないステップ用に蒸留されているため、Largeの定番値を移さず、そのモデルの推奨条件から始めます。

たとえば「もっとステップ数を増やしたら細かくなるかな」と思ったら、ほかをそろえて試します。モデル、文章、サイズ、シード、CFG、サンプラー、Schedulerはそのままにし、ステップ数だけを変えてください。絵と待ち時間を並べると、長く待つだけの違いがあるか、自分の用途で判断できます。

見た目の違いが気にならなければ、その画像では少ないステップを選ぶのもよいと思います。CFGも、数字を大きくするほどきれいになる設定ではありません。通常のCFGは、文章を指定した側と、条件なし・ネガティブ側の予測の差を強める計算です。配布元の値から少しずつ変え、欲しい描写と不自然な変化の両方を見てみましょう。

シードは完成画像の番号ではなく、乱数の起点です。UIや実行環境を替えると、同じ値でも絵が変わることがあります。設定の役割と比較例は、一枚作れた後に読むと分かりやすくなります。

VRAMが足りないときは、追加する前の構成へ戻す

VRAMはGPUが処理に使うメモリです。モデルをダウンロードできる空き容量があっても、生成中のVRAMが足りるとは限りません。必要量は、モデルの重みの精度、画像サイズ、同時生成枚数、追加モデル、UIのメモリ管理などで変わります。

CUDA out of memoryが出たら、まず同時生成枚数を1枚にし、直前に追加したControlNetや拡大処理を外して、基本の生成へ戻してみましょう。ComfyUIでは、一度に処理するバッチサイズと、ワークフローを繰り返すキューの回数を分けて見ます。バッチサイズを1にしても止まる場合は、1のまま幅と高さを下げます。

モデルの一部をシステムRAMへ退避するCPUオフロードを使う方法もありますが、RAMの空きが必要で、転送の待ち時間も生じます。まずは基本の一枚を動かし、どの追加処理で足りなくなるかを確かめましょう。PCの購入前に容量を選びたい場合は、ローカルAI向けBTOの構成選びへ進めます。

できた絵の「どこを変えたいか」で機能を足す

一枚できたら、その絵を見ながら「ここを変えたい」を一つ選んでみてください。構図は気に入っているのか、顔の一部だけ直したいのか。それによって、次に覚える機能が決まります。

「絵柄を変えたい」なら対応するCheckpointやLoRA、「できた家の季節を変えたい」ならimg2img、「窓だけ直したい」ならインペイントへ進めます。一度に全部追加せず、元のPNGを横に置き、残したいところと変えたいところを一つずつ決めると、次の記事を選びやすくなります。

元の構図を生かして描き直したい

元の絵を手がかりに別の描写を作りたいなら、img2imgを使います。元画像にノイズを加えて再生成する方法で、denoiseやstrengthを高くすると元の絵から離れやすくなります。img2imgの比較手順で、同じ元画像から値を変えてみましょう。数値の効き方はモデルや実装でも変わるため、自分の構成での変化を見ます。

顔の一部や背景の一角だけを直したいなら、マスクで範囲を指定するインペイントを使います。マスクの外を完全に残したい場合は、生成後に元画像と合成する処理も確かめます。

ポーズや参照画像を使いたい

人物の姿勢や建物の輪郭を指定したいなら、ControlNetが候補です。ポーズ・輪郭・深度などを示す画像を条件として、生成中の形や配置を誘導します。まず残したいものを決め、条件画像の作り方と、ControlNetモデルの対応系列を配布元で見てください。対応する構成なら、img2imgやインペイントにも加えられます。

写真やイラストの特徴を参考にしたいときは、IP-Adapterも使われます。参照画像から特徴を取り出して、文章と一緒に生成の条件へ加える方法です。使うベースモデル、IP-Adapter、画像エンコーダーの対応を確かめましょう。元画像を直接描き直すimg2imgとは役割が異なり、人物や構図が完全に同じになる機能でもありません。

画像を大きくしたい

絵を大きくしたいときも、元の文字や形を残すか、描き直して細部を加えるかで方法を選びます。画素を補う通常の拡大、ESRGANなどの超解像モデル、拡大した後の再生成があります。Hires.fixのように再生成も行う処理では、サイズに加えて顔や細部が変わる場合があるので、元画像と並べて選びましょう。

まず一枚作れたら、次はその絵の気になるところを一つだけ変えてみましょう。LoRAで絵柄を試しても、denoiseで描き直しを試しても構いません。元のPNGと動いた設定を残しておけば、変えすぎた日もそこからやり直せます。知らない機能を全部そろえるより、作りたい絵に合わせて少しずつ覚えていく方が楽しめると思います。

CFGだけを変えた絵も見たい方は、CFG Scaleの実画像45枚比較へ。WAI Illustrious SDXL v17.0の人物アップ・全身・背景を含む場面を、同じSeedで並べて選べます。