記事一覧ツール

ベンチマーク

GPU・モデル・実行環境ごとの計測結果。

2件の実測
2 / 2 実測
2026/08/23

GeForce RTX 5090

Qwen2.5-7B-Instruct / Q8_0 / コンテキスト 512トークン

llama.cpp b10336
Prompt
16,314.71 t/s
Generation
182.22 t/s
測定条件と記録を見る
CPU
AMD Ryzen 9 9950X 16-Core Processor
システムRAM（記録値）
62 GB
OS（記録値）
Windows 10.0.26200
GPUドライバー
610.62
コンテキスト長
512トークン
Prompt tokens
512
Generation tokens
128
Repetitions
5
Run ID
batch002-rtx5090-qwen2-5-q8-0-20260823-001
Model revision
bb5d59e06d9551d752d08b292a50eb208b07ab1f
CUDA
13.3

pp512は512トークンの入力処理、tg128は128トークンの生成を測る、別々のllama-benchテストです。入力512トークンから128トークンの返答を完成させた1回の会話ではありません。t/sは1秒あたりの処理トークン数で、トークン化とサンプリングの時間を含みません。

この2件ではTTFT（最初のトークンまでの時間）、応答完了時間、最大VRAM/RAM使用量、電力、温度は未測定です。コンテキスト長はこのコマンドの最大n_ctxを記録しており、長文会話で使える上限を示す値ではありません。

原記録の測定値（JSON）を開くと、pp512・tg128それぞれの反復値や実行時の設定を追えます。保存先などのローカル情報を省き、元ファイルの相対パスとSHA-256を添えています。

2026/08/23

GeForce RTX 5090

Qwen2.5-7B-Instruct / Q4_K_M / コンテキスト 512トークン

llama.cpp b10336
Prompt
14,743.55 t/s
Generation
262.24 t/s
測定条件と記録を見る
CPU
AMD Ryzen 9 9950X 16-Core Processor
システムRAM（記録値）
62 GB
OS（記録値）
Windows 10.0.26200
GPUドライバー
610.62
コンテキスト長
512トークン
Prompt tokens
512
Generation tokens
128
Repetitions
5
Run ID
batch001-rtx5090-qwen2-5-q4-k-m-20260823-001
Model revision
bb5d59e06d9551d752d08b292a50eb208b07ab1f
CUDA
13.3

pp512は512トークンの入力処理、tg128は128トークンの生成を測る、別々のllama-benchテストです。入力512トークンから128トークンの返答を完成させた1回の会話ではありません。t/sは1秒あたりの処理トークン数で、トークン化とサンプリングの時間を含みません。

この2件ではTTFT（最初のトークンまでの時間）、応答完了時間、最大VRAM/RAM使用量、電力、温度は未測定です。コンテキスト長はこのコマンドの最大n_ctxを記録しており、長文会話で使える上限を示す値ではありません。

原記録の測定値（JSON）を開くと、pp512・tg128それぞれの反復値や実行時の設定を追えます。保存先などのローカル情報を省き、元ファイルの相対パスとSHA-256を添えています。