高VRAM GPU 1枚と複数GPUはどっち？ローカルLLM向けに比較

ローカルLLMで1枚のGPUにモデルが収まらない場合、2枚以上のGPUへ分ける方法がある。ただし、複数GPUはVRAMを自動的に一つへまとめる仕組みではなく、GPUを2枚にすれば速度も2倍になるわけではない。

必要なモデルとコンテキストが1枚の高VRAM GPUへ収まるなら、まず1枚構成が基本になる。複数GPUを検討するのは、1枚では容量が足りず、使う実行環境がそのモデルの分割に対応している場合だ。

図を拡大して見る

図: 容量・設定値・段階差の判断軸を1枚に整理。数値の条件は本文を優先する。

1枚で収まるならシングルGPUが扱いやすい

GPUが1枚なら、電源、冷却、ドライバー、デバイス配置、実行環境の設定を比較的単純にできる。

重要なのは、GPUのVRAM容量とモデルファイルの大きさだけを比べないことだ。LLMではモデルの重みに加え、コンテキスト長、KVキャッシュ、実行環境の作業領域などにもメモリを使う。

使いたいモデル、量子化、コンテキスト長まで含めて1枚のGPUで目的を満たせるなら、追加GPUの購入や設定に費用をかける理由は小さくなる。

32GBより大きな1枚構成が必要なら、96GBのRTX PRO 6000 Blackwell Workstation Editionのような高VRAM GPUも候補になる。ただし、価格や保証、PC全体の条件は一般向けGPUと別に確認する必要がある。

複数GPUは実行環境の分割方式に依存する

llama.cppの複数GPU向けドキュメントでは、モデルの層をGPUへ分けるlayer方式と、テンソルを分割するtensor方式が区別されている。

layer分割は既定の方式として扱われ、tensor分割はより実験的で、対応するモデルアーキテクチャやバックエンドに制限がある。どちらも「GPUが2枚あれば自動で使われる」という話ではない。

実際に複数GPUを使う前に確認したいのは次の点だ。

• 使うllama.cppのバージョン
• モデルと量子化
• 対応する分割方式
• GPUごとにどの程度モデルを配置するか
• KVキャッシュなどがどのデバイスへ置かれるか
• 異なるGPUを組み合わせる場合の対応

実行環境のバージョンによってオプションや対応範囲が変わる可能性があるため、購入するGPUの組み合わせで実際に使う方法を確認する必要がある。

32GBを2枚積んでも64GBの1枚物にはならない

複数GPUでは、モデルやキャッシュを複数のデバイスへ分けて使う。32GB GPUを2枚搭載したからといって、ソフトウェアから常に「64GBの1枚のGPU」として見えるわけではない。

96GB GPUを1枚使う場合と、32GB GPUを複数枚使う場合も同じではない。分割方法、GPU間の転送、KVキャッシュの配置、モデルのアーキテクチャによって使い方が変わる。

そのため、合計VRAMだけで「このモデルが動く」と判断するのは危険だ。対象の実行環境が、そのモデルを実際にどう分割できるかまで確認する必要がある。

複数GPUはPC全体の条件が重くなる

GPUを増やすと、必要になるのはGPU本体だけではない。

• 複数GPUを挿せるマザーボードとスロット配置
• PCIeレーンと接続条件
• 複数の大型カードが収まるケース
• 必要な電源容量とコネクタ
• GPU同士が近接した状態でも冷やせる冷却
• ドライバーとデバイス順の管理

RTX 5090はNVIDIA基準で575W、RTX PRO 6000 Blackwell Workstation Editionは最大600WのGPUだ。高消費電力GPUを複数搭載する構成では、PC全体の電源設計を個別に確認しなければならない。

GPU代だけを足して比較すると、マザーボード、電源、ケース、冷却の追加費用を見落としやすい。

複数GPUだから速いとは限らない

複数GPUの速度は、GPU枚数だけでは決まらない。モデルの分割、GPU間の転送、PCIe構成、KVキャッシュ、入力長などが関係する。

本記事の根拠には、特定のGPUペアを同じモデル・設定で測ったtokens/sやTTFTの比較は含まれていない。そのため、2枚構成が1枚構成の何倍速いかを仕様から推測することはできない。

複数GPUを選ぶ主な理由は、1枚では収まらないモデルを分割して扱うことにある。速度向上を主目的にする場合は、購入前に同じ構成の実測データが必要になる。

どちらを選ぶか

状況	選びやすい構成
1枚のGPUでモデルとコンテキストが収まる	高VRAM GPU 1枚
1枚では足りず、対象モデルのlayer分割を確認できる	複数GPUを比較
tensor分割が必要	対応モデル・バックエンドを確認してから検討
電源・ケース・スロットの追加費用が大きい	1枚の高VRAM GPUや別プラットフォームも比較
分割方法や必要容量が分からない	GPU追加を保留

複数GPUは、安いGPUを足して簡単に大容量化する方法ではない。1枚では足りないことが明確で、使う実行環境がモデルを分割でき、PC全体の追加費用にも納得できる場合に選ぶ構成だ。

1枚で目的を満たせるならシングルGPUを優先し、足りない場合だけ複数GPU、より大きな1枚のGPU、大容量共有メモリの別プラットフォームを比較する方が無理が少ない。