Stable Audio 3をローカルで動かすには？Small・Medium・必要VRAM・ComfyUIを整理

Stable Audio 3は、音楽や効果音をローカルで生成したい人にとってかなり扱いやすい構成になっている。

ただし、「Stable Audio 3」という1つのモデルがあるわけではない。公式リポジトリでは、CPU向けのSmall-Music / Small-SFX、CUDA GPU向けのMedium、API専用のLargeに役割が分かれている。

最初に見るべきなのはモデル名ではなく、何を作りたいか、GPUを使うか、何秒の音声が必要かだ。

まずSmallとMediumを用途で分ける

Stable Audio 3の主要な選択肢は次のように整理できる。

モデル	パラメータ	公式ハードウェア区分	最大生成尺	主な用途
Small-Music	433M	CPU	120秒	軽量な音楽生成
Small-SFX	433M	CPU	120秒	効果音生成
Medium	1.4B	GPU（CUDA）	380秒	高品質な音楽・音声生成
Large	2.7B	APIのみ	380秒	APIでの最高品質用途

ローカル用途で重要なのはSmallとMediumだ。

GPUなし、またはGPUを音声生成へ割きたくないならSmallから試す。 一方、CUDA GPUがあり、音質や長尺生成を優先するならMediumが本命になる。

Largeは公式リポジトリではAPIのみとされているため、「Stable Audio 3 LargeをダウンロードしてローカルGPUで動かす」前提では考えない。

Smallは「低VRAM版」ではなくCPU向けモデル

Small-MusicとSmall-SFXはいずれも433Mで、公式表ではハードウェアがCPUと明記されている。

Smallを単純に「Mediumを4bit化した低VRAM版」のように考えない方がよい。モデル自体の役割が分かれている。

Small-Musicは音楽、Small-SFXは効果音が中心だ。例えばBGM生成とUIのクリック音生成では必要なモデルが違う。

GPUを持っていても、常時動かす小さな音声生成環境や、GPUをLLM・画像生成へ残しておきたい場合にはCPU版の価値がある。

Mediumは1.4BのCUDA向けモデル

Mediumは1.4Bで、公式リポジトリではGPU（CUDA）向けに位置付けられている。

最大生成尺は380秒。テキストからの生成だけでなく、既存音声を使う音声-to-音声、インペイント、続きを生成にも対応する。

つまり単純な「AI作曲モデル」というより、次のような用途まで含む。

• テキストからBGMや効果音を作る
• 既存音声の雰囲気を変える
• 音声の一部分だけ作り直す
• 短い音声の続きを生成する

長い音声を一度に生成したいならMediumは有力だが、最大380秒に対応していることと、どのPCでも380秒を快適に生成できることは同じではない。

公式VRAM使用量のピークは「最低必要VRAM」ではない

Stability AIは公式リポジトリでVRAM使用量のピークの参考を公開している。

モデル	生成尺	公式VRAM使用量のピーク
Small	5秒	1.69GB
Small	30秒	1.89GB
Small	120秒	2.40GB
Medium	5秒	5.07GB
Medium	30秒	5.49GB
Medium	120秒	6.49GB
Medium	380秒	6.52GB

この数字を見ると「Mediumは8GB GPUで必ず動く」と言いたくなるが、そこまでは断定できない。

公式値は特定の実装・依存関係・測定条件で得られた参考だ。実際のPCではPyTorch、CUDA、Flash Attention、UI、ほかのGPU利用プロセスなども影響する。

そのため、GPU選びでは次の3つを分けて考える。

1. チェックポイントやモデル重みを保持する容量
2. 推論中の活性値・バッファなどを含むピークメモリ
3. ComfyUIやほかのアプリを同時に使うための余裕

公式VRAM使用量のピークが6.52GBだから、6.52GB空いていれば必ず成功する、という読み方はしない。

VRAM不足が出た場合は、ComfyUIのCUDA out ofメモリ対処と同じように、ほかのGPU利用や生成条件を一つずつ切り分ける。

8GB・12GB・16GB以上のGPUならどう考えるか

Stable Audio 3だけを目的にGPU容量を決める場合、公式参考上ではMediumのVRAM使用量のピークは約6.5GBまでに収まっている。

ただしここから「8GBで十分」と一律には決めない。

8GB GPUでは公式参考との余裕が小さい。OSや別アプリ、実行環境差まで含めれば、条件によっては余裕がなくなる可能性がある。

12GB以上になるとMediumの公式参考に対する容量余裕は増える。ただし、Stable Audio 3のためだけに16GBや24GB GPUが必要だという一次情報もない。

画像生成、動画生成、ローカルLLMも同じGPUで使うなら、Stable Audio 3単体ではなく最も重い用途に合わせてGPUを選ぶ方が合理的だ。

MediumではFlash Attention 2も確認する

公式リポジトリではStable Audio 3 MediumにFlash Attention 2が必要とされている。

ここはVRAM容量とは別の導入条件だ。

PyTorch、CUDA、Python、flash-attnの組み合わせが合わないと、GPUに十分なVRAMがあっても導入で止まる可能性がある。

公式READMEではビルド済みパッケージを使う方法と情報源ビルドの方法が案内されており、RTX 3090では計算能力8.6、RTX 4090では8.9といった例も示されている。

したがってMediumを導入するときは、

GPUが対応しているか
↓
CUDA / PyTorchの組み合わせ
↓
Flash Attention 2
↓
checkpointの取得
↓
短い音声で実行確認
↓
生成尺を伸ばしてpeak memoryを測定

の順に確認すると切り分けやすい。

まず公式Gradio UIで確認する方法もある

Stable Audio 3の公式リポジトリにはローカルGradio UIが用意されている。

Mediumなら公式例は次の形だ。

uv run python run_gradio.py --model medium

ComfyUIへ組み込む前に、公式実行環境でモデル自体が正常に動くか確認する用途にも使える。

最初から複雑なComfyUIワークフローへ入れると、モデル本体の問題なのか、ノードやワークフローの問題なのか分かりにくくなる。

ComfyUIでもStable Audio 3を扱える

Comfy OrgはHugging Face上にComfy-Org/stable-audio-3を公開しており、Stable Audio 3のチェックポイントをComfyUI向けに再パッケージしている。

対象にはMedium、Medium Base、Small-Musicなどが含まれる。

注意点は、ComfyUI向けチェックポイントがあることと、ComfyUIなら必要VRAMが大幅に下がることは別という点だ。

ComfyUIは画像・動画・音声を1つのグラフにまとめられるため、例えば

画像生成
↓
動画生成
↓
Stable Audio 3でBGM / SFX生成
↓
後処理

のような制作処理パイプラインを組めることが大きな利点になる。

逆に、音声だけを生成するなら公式CLIやGradio UIの方が構成は単純だ。

Baseモデルは通常生成用と分ける

Stable Audio 3にはmedium-baseやsmall-music-baseなどのBaseチェックポイントもある。

Baseは追加学習前のモデルで、公式モデルカードでも追加学習向けと説明されている。

普通に音声を生成したいだけなら、まずmediumやsmall-musicを選ぶ。Baseを選ぶ理由は、LoRAや追加学習などモデル自体を調整したい場合だ。

「Baseの方が上位」「Baseの方が高品質」という意味ではない。

LoRAで音の方向性を調整できる

Stable Audio 3の公式リポジトリはLoRA追加学習にも対応している。

特定ジャンル、音色、効果音の傾向などへ適応させたい場合は、完成済みチェックポイントだけでなくLoRAを使う選択肢がある。

ただしLoRA学習では推論とは別のGPUメモリ・データ・学習時間が必要になる。公式の推論VRAM使用量のピークをそのままLoRA学習に適用してはいけない。

Apple SiliconではSmallのCoreML経路もある

公式性能 表ではSmallについてMac CPUとMac CoreMLの参考も掲載されている。

例えば120秒生成で、公式表はMac CPU 5.92秒、Mac CoreML 3.09秒としている。

ただし、これはStability AIの提供元測定であり、すべてのMacで同じ速度になるという意味ではない。

Apple Siliconユーザーにとって重要なのは、「NVIDIA GPUがなければStable Audio 3を使えない」わけではないことだ。

Smallを中心にCPU / CoreML経路を検討できる。

Stable Audio 2.5とは提供形態が違う

Stable Audio 2.5はComfyUIで利用できても、Comfy Orgの案内は提携先ノードを使うAPI統合だった。

一方、Stable Audio 3ではSmallとMediumの重み、推論・追加学習処理パイプライン、公式リポジトリが公開されている。

重要なのはこの差だ。

「ComfyUIにノードがある」というだけではローカル実行とは限らない。モデル重みを自分のPCへ置いて推論するのか、外部APIを呼んでいるのかを分けて確認する。

ライセンスはダウンロード前に確認する

Stable Audio 3 MediumのHugging Faceモデルカードはstable-audio-communityライセンスを示しており、商用useについてはStability AIのライセンス条件を確認するよう案内している。

したがって「オープン重みだからApache 2.0で何でも商用利用できる」とは考えない。

モデルを販売物、広告、ゲーム、動画制作などへ組み込む場合は、AIモデルのライセンスをダウンロード前に確認する方法と同様に、モデル本体、追加チェックポイント、LoRA、入力素材を分けて確認する。

どれを選ぶべきか

Stable Audio 3をこれからローカルで試すなら、判断はかなり単純にできる。

GPUなし・軽量運用・短めのBGMならSmall-Musicから始める。

GPUなし・効果音中心ならSmall-SFXを選ぶ。

CUDA GPUがあり、音楽・効果音・編集・長尺をまとめて扱いたいならMediumが本命だ。

追加学習したい場合だけBaseチェックポイントも候補に入れる。

画像や動画と同じ制作グラフにまとめたい場合はComfyUI経路を選ぶ。

そして最初から最大生成尺を使わず、5秒、30秒、120秒と伸ばしながら、生成時間とピークメモリを記録する。

Stable Audio 3は「何GBのGPUなら動くか」だけで選ぶモデルではない。CPU / CUDA、用途、生成尺、実行環境、ライセンスを一緒に決めることが最も重要だ。