クリエイティブ分析

ComfyUIのアップスケールはlatentと生成後の画像処理で何が違う?

ComfyUIのアップスケールはlatentと生成後の画像処理で何が違う?
目次

ComfyUIで画像を「2倍にしたい」と考えたとき、アップスケールには複数の方法がある。

大きく分けると、生成モデルをもう一度使って細部を描き直す方法と、完成した画像の画素数を増やす方法だ。同じ「高解像度化」でも、目的と結果はかなり違う。

ComfyUIのアップスケールはlatentと生成後の画像処理で何が違う?の要点を図解

図を拡大して見る

図: 主な比較軸を1枚に整理。細かな条件は本文と表で確認する。

完成画像を後から大きくする方法

ComfyUIには、完成した画像へアップスケール用モデルを適用する基本的なワークフローがある。

この方法は、元画像の内容をできるだけ保ちながら、最終的な縦横サイズを増やしたいときに分かりやすい。

たとえば、

  • Web掲載用の画像を大きくする
  • 印刷や納品で必要な画素数へ近づける
  • 元の顔や構図を大きく変えたくない

といった用途では、まず候補にしやすい。

ただし、画素数が増えたからといって、元画像に存在しなかった正しい細部が新しく生まれたとは限らない。輪郭や質感を補完して見やすくすることと、生成モデルが内容を描き直すことは分けて考える。

生成を伴うアップスケールは内容も変わり得る

もう一つは、latent側で大きくしてから再生成したり、img2imgを使って高い解像度で描き直したりする方法だ。

この場合は生成モデルが再び画像内容へ関わるため、細部を新しく描き足せる可能性がある。

一方で、

  • 顔立ち
  • 指や小物の形
  • 文字
  • 背景の細部
  • 色や質感

まで変わることがある。

つまり、「もっと細かく描き直したい」場合には有力だが、「元画像を完全に保ったままサイズだけ増やしたい」場合とは目的が違う。

目的から先に選ぶ

最初にどちらを試すかは、欲しい結果で決める。

目的 最初に試しやすい方法
最終的な縦横サイズだけ増やしたい 生成後の画像アップスケール
元画像の変化をなるべく抑えたい 生成後の画像アップスケール
小さな細部をもう一度描き直したい 生成を伴うアップスケール
元画像の粗さや破綻も含めて作り直したい img2imgなど生成を伴う方法

どちらかが常に上位というわけではない。

同じ元画像・同じ出力サイズで比べる

違いを確かめるなら、同じ元画像を使い、最終的な出力サイズをそろえて比較する。

元画像:
方法:
使用モデル・アップスケーラー:
出力サイズ:
処理時間:
最大メモリ使用量:
変わった細部:
気になった破綻:

たとえば生成後アップスケールと、img2imgを使った再生成を両方試し、「どこが変わったか」を見る。

単にシャープに見えるかだけでなく、顔や文字、模様など、変えてほしくなかった場所まで変わっていないかも確認する。

メモリ使用量は方法だけでは決まらない

生成を伴う方法では、解像度が上がることでVRAMや処理時間が増えることがある。

ただし必要なメモリ量は、使用モデル、解像度、精度、オフロード設定などでも変わる。他人の測定値をそのまま「この方法には必ず○GB必要」と考えない。

自分の環境では、同じ条件を記録して比較する。

細部を描き直す場合はdenoiseも分けて考える

img2imgなどで生成を伴う場合は、denoiseによって元画像をどの程度残すかも変わる。

アップスケール方法を比べたいのに、同時にdenoiseまで大きく変えると、何が結果へ影響したのか分からなくなる。

生成を伴う方法を試す場合は、ComfyUIでimg2imgを始める方法denoiseの役割も確認しておく。

サイズを増やしたいのか、細部を描き直したいのか。 先に目的を分けると、必要のない再生成や過剰な設定変更を減らせる。

まとめ

  • 画像の縦横サイズを増やすことと、元画像にない細部を新しく描くことは別の処理
  • 細部を描き直したい場合は、生成モデルが再び関与する方法を比較する
  • 完成画像の大きさだけを増やしたい場合は、生成後の画像アップスケールを先に試しやすい
  • 同じ元画像と出力サイズで比較し、見た目の変化、処理時間、メモリ使用量も記録する
同じテーマから

サイト内検索