クリエイティブ解説

ComfyUIのチェックポイント・VAE・LoRAは何が違う?役割と組み合わせ方

ComfyUIのチェックポイント・VAE・LoRAは何が違う? — 役割と組み合わせ方
目次

ComfyUIを使い始めると、チェックポイント、VAE、LoRAという名前を頻繁に見る。しかも、どれも.safetensorsで配布されていることがあり、ファイル名だけでは違いが分かりにくい。

判断するときは拡張子ではなく、そのファイルが生成処理の中で何を担当するのかを見る。

LoRAはベースモデルへ追加する調整データ。VAEは画像と潜在表現の変換に関わる。別ファイルが必要かは構成による。
モデル・LoRA・VAEの役割。図を拡大して見る

チェックポイントは生成の中心になるモデル

一般的なチェックポイントは、画像生成の中心になるモデルとして読み込む。

ただし、すべてのワークフローが一つのチェックポイントファイルだけで完結するわけではない。構成によっては拡散モデル、テキストエンコーダー、VAEなどを別々に読み込むこともある。

そのため、「容量が大きいからチェックポイントだろう」と決めず、配布ページと使うローダーを確認する。

VAEは画像と潜在表現の変換に関わる

VAEは、画像と潜在表現を行き来するときに使われる。

モデルに含まれている場合もあれば、別のVAEを指定するワークフローもある。別VAEへ差し替えれば必ず画質が上がるわけではない。

まず確認したいのは、そのモデルやワークフローがどのVAEを想定しているかだ。対応していないVAEを使うと、色や出力がおかしくなるなど別の問題につながることもある。

LoRAはベースモデルへ追加する調整データ

LoRAは、ベースモデルへ追加して絵柄や人物、表現などの傾向を変えるために使われる。

ComfyUIのLoRA読み込みでは、モデル側とCLIP側に強度を設定できる構成がある。しかし、配布ページや解説に書かれた数値を、そのまま別のLoRAへ使えばよいわけではない。

LoRAごとに学習内容や適切な強度が異なるため、まず配布元の説明を確認し、必要なら少しずつ調整する。

最初にベースモデルの系列を確認する

組み合わせるときは、次の順番にすると混乱しにくい。

  1. 使うベースモデルを決める
  2. そのワークフローで別VAEが必要か確認する
  3. LoRAの配布ページで対応するベースモデルを確認する
  4. 必要なトリガー語や利用条件を確認する
  5. まずLoRAなしの出力を保存する
  6. LoRAを1つだけ追加して変化を見る

たとえば、別のモデル系列向けに作られたLoRAを、拡張子が同じという理由だけで組み合わせるのは避けた方がよい。

ファイルの種類ではなく「組み合わせ」を見る

チェックポイント、VAE、LoRAはそれぞれ独立した名前に見えるが、実際にはワークフロー全体の中で組み合わせて使う。

大切なのは、個々のファイルを集めることではなく、ベースモデルとVAE、LoRAの互換性がそろっていることだ。

保存場所が分からない場合は、ComfyUIのモデルフォルダ整理も合わせて確認すると分かりやすい。LoRAの強度調整についてはLoRAの重みを安全に比較する方法で切り分ける。

まとめ

  • チェックポイント、VAE、LoRAは同じ拡張子でも役割が異なる
  • LoRAは対応するベースモデル系列を確認してから組み合わせる
  • 配布例に書かれたLoRA強度を、別のLoRAにも通用する固定値だと考えない
  • まずワークフローがどの種類のファイルを必要としているかを確認する
同じテーマから

サイト内検索