ローカルAI用PCでCPUはどこまで重要？GPUとの予算配分を考える

ローカルAI用PCではGPUが注目されやすい。しかし、CPUを「何でもよい部品」と考えるのも、「高価なCPUならAIが全部速くなる」と考えるのも極端だ。

見るべきなのは、自分が行う処理のどこをCPUが担当しているかだ。

GPU中心でもCPU側の処理は残る

LLMをGPU中心で動かしていても、CPU側では入力の準備、トークン化、ファイル読み書きなどの処理が発生する。

設定によっては、一部のレイヤーや処理をCPU側へ置くこともある。

RAGでは文書の読み込み・分割・前処理、画像や動画ではファイルのデコードやエンコードなど、モデル推論以外の処理もある。

そのためGPU使用率だけを見てCPUの必要性を決めない。

モデル全体をGPUへ載せず、一部をCPUとシステムRAMへ置く構成では、CPU側の処理性能やメモリ帯域が実行時間へ影響しやすくなる。

ただし、CPUを高性能化すればVRAM不足そのものが消えるわけではない。

オフロードは、データを置く場所を変えて動作させるための方法であり、GPUだけで処理する場合と同じ速度を保証するものではない。

次のような状況が実際に確認できたら、CPU側を強くする意味が出てくる。

反対に、処理中ずっとGPU側が待ち時間の中心で、CPUには十分な余裕があるなら、CPUの上位化よりGPU・VRAM・RAMへ予算を残した方が目的に合う場合がある。

CPUはコア数だけで性能が決まるわけではない。クロック、キャッシュ、メモリ、PCIe構成なども別の要素になる。

また、一般的なCPUベンチマークの順位を、そのままローカルLLMの生成速度の順位として使うこともできない。

購入前に、今のPCや近い構成で実際の処理を行い、どこで待っているかを見る。

行った処理:
CPU使用率:
GPU使用率:
システムRAM使用量:
VRAM使用量:
CPU側で時間がかかる区間:
GPU側で時間がかかる区間:

一回の瞬間値ではなく、処理中の傾向を確認する。

たとえばRAGの前処理に時間がかかるなら、その区間を短縮できるCPU構成を検討する理由になる。

CPUオフロードを多く使い、CPU使用率やメモリ側が明確に詰まっているならCPU・RAM側を見直す。

反対にCPUが余っているなら、「将来性」だけを理由にGPU予算を削って最上位CPUへ上げる必要はない。

CPUの重要度はローカルAIという名前ではなく、自分の処理の中でCPU待ちがどの程度あるかで決める。

CPUオフロード時のRAM容量も迷っている場合は、ローカルAIのRAMは64GBと128GBのどちらを選ぶ？を確認できる。PC全体の予算から考えたい場合は、初めてのローカルAI用PCの予算の決め方へ進む。