クリエイティブ解説

MLPerf Client v2.0とは? AI PCベンチマークの測定項目とスコアの読み方

MLPerf Client v2.0とは? — AI PCベンチマークの測定項目とスコアの読み方
目次

ローカルAI用PCを選ぶとき、比較表には「TOPS」「VRAM」「tok/s」が並びやすい。しかし、実際の使い心地はそれだけでは決まらない。

長いプロンプトを読ませるとどうなるのか。エージェントがツールを呼び出す一連の処理は速いのか。画像生成ではどの程度待つのか。GPUだけでなくNPUを使うAI PCは、同じ仕事をどれくらいの時間で終えられるのか。

MLPerf Client v2.0は、こうしたPC上のローカルAI性能を共通条件で測るためのベンチマークだ。2026年8月18日にMLCommonsが公開し、v2.0では従来のLLMベンチマークに加えてエージェント型AIと画像生成が追加された。

tok/sだけでは見えないPC全体のローカルAI性能を測る

MLPerf Client v2.0の価値は、特定GPUを最速と決めることではない。

同じ処理を同じベンチマーク定義で複数のPC・実行プロバイダーへ流すことで、条件を揃えた比較がしやすくなる。

v2.0では大きく次の3領域を扱う。

領域 主な内容 購入判断で見えるもの
LLM 生成、文章作成、構造化出力、コード解析、要約 入力処理・生成処理・長めプロンプトへの強さ
エージェント型AI SWE Agent、データ分析 LLM+ツール実行を含む一連の処理全体性能
画像生成 FLUX.2 [klein] 4B、1024×1024 ローカル画像生成環境全体の処理時間

そのため、ローカルAI向けPCを比較するなら、理論演算性能だけを見るより一歩実用途へ近い。

ただし、MLPerf Clientの結果=あらゆるローカルAIアプリの速度ではない。Ollama、LM Studio、ComfyUI、独自実行環境などはモデル形式・カーネル・量子化・メモリ管理が異なるため、ベンチマーク順位がそのまま全アプリの順位になるわけではない。

正しい使い方は、MLPerf Clientを「共通基準の一つ」にし、そのうえで自分が実際に使うモデルと実行環境の実測を重ねることだ。

MLPerf Client v2.0で何が変わったのか

MLCommonsはv2.0でベンチマークの対象を「LLMを何トークン/sで動かせるか」より広げた。

エージェント型AIベンチマークが追加

新しいエージェント型AI分野には、

  • ソフトウェア開発(SWE)エージェント
  • データ分析エージェント

が含まれる。

エージェント型AIテストは、LLM推論だけではなく一連の処理を測る。

MLCommonsの説明では、エージェントベンチマークは一連の処理全体の性能を対象とし、LLM推論とツール実行の時間を含む。

エージェントは通常、

promptを読む

考える / 出力する

toolを呼ぶ

toolの結果を受け取る

再び推論する

最終結果を作る

というループを持つ。

そのため、生成処理速度だけが速いPCでも、ツール連携や長いコンテキスト、実行環境側の追加負荷が大きければ、エージェント全体では差が縮まる可能性がある。

これは今後のローカルエージェントPCを比較するうえで重要な変化だ。

画像生成ベンチマークが追加

v2.0では画像生成分野も追加された。

初期テストはFLUX.2 [klein] 4Bを使うテキストから画像への生成で、生成解像度は1024×1024。現時点では実験版扱いである。

これにより、「LLMは速いが画像生成は弱い」「NPUはLLM用途では効くが特定画像生成構成一式ではGPUほど活かせない」といったプラットフォーム差を、同じクライアントベンチマーク体系の中で追いやすくなる。

ただし、ComfyUI利用者が注意したい点がある。

MLPerf ClientのFLUX.2 [klein] 4B結果は、ComfyUIでSDXL、FLUX、Wan、MiniMax H3を動かしたときの速度を直接表すものではない

モデルもワークフローも実行環境も違うためだ。

画像生成PCの購入判断では、MLPerf Clientをプラットフォーム全体の比較に使い、最終的には自分が使うComfyUIワークフローでVRAM使用量と生成時間を確認する必要がある。

LLMベンチマークも長めの実利用へ寄った

LLM分野もv2.0で更新された。

MLCommonsの現在の説明では、Phi 4 Mini Instructが必須基本ベンチマークとなり、Qwen3 8Bが実験版テストとして追加されている。

また基本ベンチマークでは約4Kトークンのプロンプト対応が必須になった。

主なタスクの入力規模は次の通りだ。

タスク おおよその入力トークン
コンテンツ生成 128
創作 512
構造化テキスト 830
コード解析 1,856
中規模の要約 3,906
大規模な要約 7,631

短いチャット用プロンプトだけでなく、4K〜8K級の入力も含まれる。

これはローカルLLMでは重要だ。長い入力では重み容量以外にKVキャッシュや入力処理性能が効き、同じモデルでもGPU・統合メモリ・実行環境による差が広がることがある。

一方で「4Kトークン級の入力ベンチマークで速い=128Kコンテキストも快適」とは言えない。MLPerfの測定範囲を超えた長文脈では別途確認が必要だ。

どのハードウェア・バックエンドを比較できるのか

MLPerf Clientは単一提供元向けベンチマークではない。

公式リポジトリでは複数の実行プロバイダーが扱われており、現行ドキュメントでは次のような経路が確認できる。

実行プロバイダー 主な対象
CUDA NVIDIA GPU
ROCm AMD GPU
Metal Apple GPU / llama.cpp系
MLX Apple Silicon
WindowsML Windows GPU / NPU
NativeOpenVINO Intel GPU / NPU
NativeQNN Qualcomm NPU
OrtGenAI-RyzenAI AMD Ryzen AI
OrtGenAI Windows GPU系

プラットフォーム対応も異なる。

Windows x64ではGPU・NPUを含む複数経路があり、Windows ArmではWindowsMLやQNN、macOSではMLXとMetalが主な経路となる。

したがってMLPerf Client v2.0は、単なるGeForceだけを対象にしたベンチマークよりもAI PCという製品カテゴリ全体を比較する方向へ進んでいる。

特に今後は、

  • GeForce / Radeon搭載デスクトップPC
  • Ryzen AI / Core Ultra系AI PC
  • Snapdragon Windows PC
  • Apple Silicon Mac
  • ワークステーション

を「ローカルAIを実際に処理させるとどう違うか」という軸で比較する材料になり得る。

MLPerf ClientでGPU購入を決めてよいのか

MLPerfだけで決めるべきではないが、かなり有用な材料になる。

ローカルAI用GPUでは、ベンチマーク順位以外に最低でも次を確認する必要がある。

  1. VRAMまたは統合メモリ容量
  2. 実際に使うモデルが収まるか
  3. 量子化形式への対応
  4. 利用実行環境の成熟度
  5. 長時間実行時の温度 / 電力
  6. システムRAMへオフロードしたときの速度
  7. 画像・動画生成で必要なピークメモリ

例えば、ある24GB GPUがMLPerfのLLMテストで高速でも、30GB必要なモデルをGPUだけに載せることはできない。

逆に128GB統合メモリマシンが小型LLMベンチマークで独立型GPUより遅くても、100GB級重みを一台に保持できるなら、巨大MoE用途では価値が逆転する。

PCやGPUを比較する場合は、

MLPerf Client
= 共通workloadでの性能

VRAM / unified memory
= そもそもmodelを載せられるか

実アプリbenchmark
= 自分のworkflowで本当に速いか

の3つを分けて考えるとよい。

スコア比較で揃えるべき条件

MLPerf系ベンチマークは、数字だけ抜き出すと誤読しやすい。

最低でも次の条件が一致しているか確認したい。

ベンチマークバージョン

v1.xとv2.0ではタスクやモデル構成が変わっている。バージョンをまたいで単純比較しない。

シナリオとモデル

Phi 4 MiniとQwen3 8B、LLMとエージェント、画像生成では意味が違う。同じ分野名だけで比較しない。

実行プロバイダー

同じPCでもCUDA、WindowsML、MLX、Metalなど実行経路が違えば結果が変わり得る。

プロンプト長さ

短い生成と4K〜8K入力ではボトルネックが異なる。

一連の処理全体か推論-のみか

特にエージェントではツール実行時間が含まれる。tok/sベンチマークと同じ数字として扱わない。

自分のPCで実行する場合

MLPerf ClientはWindows・macOS向けバイナリを提供し、公式リポジトリではLinuxを含むビルド・実行パスも管理されている。

基本的には対応する構成を選び、ベンチマークを実行する。

公式CLIにはデバイス列挙やCSV書き出しも用意されている。

--enumerate-devices
--export-csv

複数PCを比較したい場合は、同じMLPerf Clientバージョン、同じ設定、同じテスト条件でCSVを取り、結果を並べるとよい。

また公式ドキュメントにはオフラインマシンでベンチマークを実行する手順もある。必要な依存関係とデータを接続済みPCで取得し、オフライン側ではダウンロードをスキップして実行できる。

インターネット接続を避けたい検証環境でも使える点はローカルAI向けベンチマークとして相性がよい。

今後見るべき指標

MLPerf Client v2.0は、GPU・PCデータベースとも相性がよい。

今後公式結果が十分に揃えば、単純なGPU仕様だけでなく、

  • LLM応答性
  • LLM処理性能
  • 4Kプロンプト性能
  • エージェント一連の処理全体の性能
  • 画像生成性能
  • GPU / NPU / 統合メモリプラットフォーム差

を同一基準で整理できる可能性がある。

ただし、スコアをデータベース化するなら、ベンチマークバージョン・モデル・実行プロバイダー・精度・デバイス構成を必ず一緒に保存する必要がある

「MLPerf 100」のように条件を落とした単一スコアへ丸めると、購入判断ではむしろ情報が減る。

どんな人にMLPerf Client v2.0が役立つか

特に役立つのは次のような人だ。

  • ローカルAI用PCを新しく買う
  • GeForce、Radeon、Mac、NPU搭載AI PCを比較したい
  • LLMだけでなくエージェントも常用する
  • 画像生成も同じPCで行う
  • 提供元独自ベンチマークだけでは判断したくない
  • 複数PCを同じ条件で測りたい

一方、特定GGUFをOllamaで何tok/s出せるか、特定ComfyUIワークフローが何秒かかるかを知りたい場合は、MLPerfだけでは足りない。

その用途では実際の実行環境・モデル・量子化で追加ベンチマークが必要になる。

まとめ

  • MLPerf Client v2.0はPC上のローカルAI性能を、LLMだけでなくエージェントと画像生成まで横断して比較するベンチマークへ拡張された
  • LLMではPhi 4 Mini Instructが必須の基本ベンチマークとなり、Qwen3 8Bは実験版、基本プロンプトには約4Kトークンの要約も含まれる
  • エージェント型AIではSWE Agentとデータ分析を一連の処理全体で測り、LLM推論だけでなくツール実行時間も含めて評価する
  • 画像生成ではFLUX.2 [klein] 4Bを使う1024×1024テキストから画像への生成テストが実験版分野として追加された
  • Windows・macOS・Linuxを横断し、CUDA・ROCm・Metal・MLX・WindowsML・QNNなど複数実行プロバイダーを扱うため、AI PC購入比較の共通基準として有用になり得る
同じテーマから

サイト内検索