{ "started_at": "2026-10-23T10:35:16.662787+00:00", "command": [ "llama-server.exe", "-m", "Qwen3.8-27B-Q4_K_M.gguf", "-ngl", "99", "-c", "4096", "-np", "1", "-t", "8", "--host", "127.0.0.1", "--port", "8193", "--offline", "--no-webui", "--cache-ram", "0", "--alias", "qwen38-27b" ], "runtime_version": "version: 0.7.0-dev (build 1, commit 620d222)\nbuilt with Clang 19.1.1 for Windows AMD64\n", "runtime_sha256": "c6b398917bd2e9b1f10b66210a9b454b0c3808a36fa3bf04150f58b851cd9d8b", "model": "Qwen3.8-27B-Q4_K_M.gguf", "model_bytes": 18973870528, "model_sha256": "c600de0300ae8a0eb3a6c0b8b5561b8b96f16bd2c863c2a66c42de29d391a747", "context": 4096, "gpu_layers_requested": 99, "gpu": "RTX 5090 32GB", "ram_bytes": 66125668352, "memory_scope": "0.5s sampled whole GPU usage MiB including desktop, dedicated server RSS bytes; sampled maxima are not CUDA allocator peaks", "runs": [ { "repeat": 0, "request": { "model": "qwen38-27b", "messages": [ { "role": "user", "content": "次の架空の会議メモから、担当・期限・作業を3行の箇条書きにしてください。書かれていない情報は補わないでください。\n会議メモ：田中さんは10月30日までに画像を3枚用意する。佐藤さんは10月31日までに誤字を確認する。鈴木さんは11月2日までに公開予約をする。" } ], "temperature": 0, "seed": 20261023, "max_tokens": 256, "stream": false, "chat_template_kwargs": { "enable_thinking": false } }, "response": { "choices": [ { "finish_reason": "stop", "index": 0, "message": { "role": "assistant", "content": "* 田中さん：10月30日までに画像を3枚用意する\n* 佐藤さん：10月31日までに誤字を確認する\n* 鈴木さん：11月2日までに公開予約をする" } } ], "created": 1792751740, "model": "qwen38-27b", "system_fingerprint": "b1-620d222", "object": "chat.completion", "usage": { "completion_tokens": 56, "prompt_tokens": 91, "total_tokens": 147, "prompt_tokens_details": { "cached_tokens": 0 } }, "id": "chatcmpl-YS244m2E0TRRpDSFqNBbDCAOnybz6Gp1", "timings": { "cache_n": 0, "prompt_n": 91, "prompt_ms": 1540.953, "prompt_per_token_ms": 16.93354945054945, "prompt_per_second": 59.054364409556946, "predicted_n": 56, "predicted_ms": 1140.438, "predicted_per_token_ms": 20.735236363636364, "predicted_per_second": 48.22708468149956 } }, "wall_seconds": 2.7018515999952797, "memory_sample_count": 5, "gpu_device_sampled_max_mib": 21574, "server_rss_sampled_max_bytes": 19057004544, "nonempty_content": true, "finish_reason": "stop" }, { "repeat": 1, "request": { "model": "qwen38-27b", "messages": [ { "role": "user", "content": "次の架空の会議メモから、担当・期限・作業を3行の箇条書きにしてください。書かれていない情報は補わないでください。\n会議メモ：田中さんは10月30日までに画像を3枚用意する。佐藤さんは10月31日までに誤字を確認する。鈴木さんは11月2日までに公開予約をする。" } ], "temperature": 0, "seed": 20261023, "max_tokens": 256, "stream": false, "chat_template_kwargs": { "enable_thinking": false } }, "response": { "choices": [ { "finish_reason": "stop", "index": 0, "message": { "role": "assistant", "content": "* 田中さん：10月30日までに画像を3枚用意する\n* 佐藤さん：10月31日までに誤字を確認する\n* 鈴木さん：11月2日までに公開予約をする" } } ], "created": 1792751741, "model": "qwen38-27b", "system_fingerprint": "b1-620d222", "object": "chat.completion", "usage": { "completion_tokens": 56, "prompt_tokens": 91, "total_tokens": 147, "prompt_tokens_details": { "cached_tokens": 87 } }, "id": "chatcmpl-4feY4axLLJlfKArvrJtWtiQPdKztMwrB", "timings": { "cache_n": 87, "prompt_n": 4, "prompt_ms": 84.26, "prompt_per_token_ms": 21.065, "prompt_per_second": 47.47211013529551, "predicted_n": 56, "predicted_ms": 860.488, "predicted_per_token_ms": 15.645236363636364, "predicted_per_second": 63.91721906639023 } }, "wall_seconds": 0.9625184000178706, "memory_sample_count": 1, "gpu_device_sampled_max_mib": 21572, "server_rss_sampled_max_bytes": 19057143808, "nonempty_content": true, "finish_reason": "stop" }, { "repeat": 2, "request": { "model": "qwen38-27b", "messages": [ { "role": "user", "content": "次の架空の会議メモから、担当・期限・作業を3行の箇条書きにしてください。書かれていない情報は補わないでください。\n会議メモ：田中さんは10月30日までに画像を3枚用意する。佐藤さんは10月31日までに誤字を確認する。鈴木さんは11月2日までに公開予約をする。" } ], "temperature": 0, "seed": 20261023, "max_tokens": 256, "stream": false, "chat_template_kwargs": { "enable_thinking": false } }, "response": { "choices": [ { "finish_reason": "stop", "index": 0, "message": { "role": "assistant", "content": "* 田中さん：10月30日までに画像を3枚用意する\n* 佐藤さん：10月31日までに誤字を確認する\n* 鈴木さん：11月2日までに公開予約をする" } } ], "created": 1792751742, "model": "qwen38-27b", "system_fingerprint": "b1-620d222", "object": "chat.completion", "usage": { "completion_tokens": 56, "prompt_tokens": 91, "total_tokens": 147, "prompt_tokens_details": { "cached_tokens": 87 } }, "id": "chatcmpl-o6OAmZdjA1xbkUlvrgxbdOV8nVAC5OiQ", "timings": { "cache_n": 87, "prompt_n": 4, "prompt_ms": 93.415, "prompt_per_token_ms": 23.35375, "prompt_per_second": 42.819675640957016, "predicted_n": 56, "predicted_ms": 928.97, "predicted_per_token_ms": 16.890363636363638, "predicted_per_second": 59.205356470069 } }, "wall_seconds": 1.0394979999982752, "memory_sample_count": 2, "gpu_device_sampled_max_mib": 21687, "server_rss_sampled_max_bytes": 19057164288, "nonempty_content": true, "finish_reason": "stop" } ], "startup_seconds": 9.1645651999861, "models": { "models": [ { "name": "qwen38-27b", "model": "qwen38-27b", "modified_at": "", "size": "", "digest": "", "type": "model", "description": "", "tags": [ "" ], "capabilities": [ "completion" ], "parameters": "", "details": { "parent_model": "", "format": "gguf", "family": "", "families": [ "" ], "parameter_size": "", "quantization_level": "" } } ], "object": "list", "data": [ { "id": "qwen38-27b", "aliases": [ "qwen38-27b" ], "tags": [], "object": "model", "architecture": { "input_modalities": [ "text" ], "output_modalities": [ "text" ] }, "created": 1792751738, "owned_by": "llamacpp", "meta": { "vocab_type": 2, "n_vocab": 248320, "n_ctx": 4096, "n_ctx_train": 262144, "n_embd": 5120, "n_params": 26895998464, "size": 18962876416, "ftype": "Q4_K - Medium" } } ] }, "status": "RESPONSES_RETURNED", "median_wall_seconds": 1.0394979999982752, "server_exit_code": 1, "limitations": [ "Repeated identical input reused prefix cache (91 prompt tokens initially, 4 on repeats).", "Actual offloaded layer count not emitted by this runtime; requested ngl99 is not a full-placement assertion.", "Memory: 0.5s sampled whole GPU including desktop; process RSS includes memory-mapped data.", "Text-only short summary, not Flash-Next, long context or another GPU test." ] }