Hy4 プレビュー版はローカルで動く？ 770B MoE・214GiB GGUF・必要環境を整理

TencentのHyチームが公開した「Hy4 プレビュー版」は、770B総パラメータ・49B 有効/トークンという巨大なMoEモデルだ。公開直後の公式導線だけを見ると、FP8版をvLLMやSGLangで8-way テンソル並列するサーバー級モデルだった。

ただし状況はすでに変わっている。Tencentのモデル圧縮プロジェクトAngelSlimは2026年9月1日、Hy4 プレビュー版のGGUFを公開し、標準的なQ4_K_Mに加えて約213.66GiBのSTQ1_0を用意した。これによって「一般PCでは検討対象外」と一言で片づけるのも正確ではなくなった。

Hy4 プレビュー版は一般向けハードウェアから触れる経路が出てきたが、RTX 5090やノートPC 4090を1枚持っていれば快適に動くモデルではない。重み容量、システムRAM、VRAM、CPU/GPUへのオフロード、複数ノード、実行環境対応を分けて考える必要がある。

Hy4 プレビュー版の基本仕様

Tencent公式リポジトリでは、Hy4 プレビュー版の基盤部分は770B総パラメータ、49B 有効/トークン、78層のMoEとして説明されている。最初の1層は密な構造の FFNで、残る77層は256 ルーティング対象のエキスパートと1 共有エキスパートを持ち、各トークンでは上位8個ルーティング対象のエキスパートと共有エキスパートが有効になる。

さらに投機的デコード用として、10B 総 / 0.7B 有効のMTP 層も内蔵する。最大コンテキスト長は1Mトークン。モデルはApache License 2.0で公開されている。

項目	公式仕様
アーキテクチャ	Mixture-of-Experts (MoE)
基盤部分総パラメータ	770B
Activated パラメータ	49B / トークン
Layers	78
ルーティング対象のエキスパート	256
Activated ルーティング対象エキスパート	上位8個 / トークン
コンテキスト長	1M
公式配布	通常版、FP8版
ライセンス	Apache 2.0

「49B 有効」でも49Bモデルのようには載らない

MoEでは、推論時に毎トークンすべてのエキスパートを同時に計算するわけではない。Hy4 プレビュー版の場合は各MoE層の256 ルーティング対象のエキスパートのうち上位8個が選ばれるため、1トークンあたりの計算量は密な構造のな770Bモデルより抑えられる。

しかし、有効パラメータ数は、そのまま保存・配置が必要な重み量を示す数字ではない。どのエキスパートが選択されるかは入力と層ごとに変わるため、チェックポイント全体は770B級になる。

49B 有効だけを見て「50B級モデルなら32GB VRAMでも量子化すればいける」と判断すると、必要なストレージやRAMを大きく見誤る。

公式FP8の基準は8-way テンソル並列

Tencentは本番サーバー運用にvLLMまたはSGLangを案内している。公式FP8版のvLLM 構成例では--tensor-parallel-size 8、SGLangでも--tp-size 8を使う。

これは「8枚ならどのGPUでもよい」という意味ではない。GPUごとのVRAM、実行時バッファ、KVキャッシュ、コンテキスト長などが別に必要になる。

最大1M コンテキストも同様だ。モデル仕様として1Mを受けられることと、巨大なKVキャッシュを一般向け PCで現実的に常用できることは別問題である。

9月1日に低bit GGUFが公開された

ここが公開直後から最も大きく変わった部分だ。

TencentのAngelSlimはHy4 プレビュー版向けGGUFを公開しており、Hugging Face上では少なくとも次の2系統を確認できる。

GGUF	公開容量の目安	位置づけ
Q4_K_M	約435.20GiB	一般的な4bit系。容量は依然として非常に大きい
STQ1_0	約213.66GiB	混合 1–2bit。Q4_K_Mのおよそ半分

AngelSlimはSTQ1_0について、元の約1.5TBから214GiBへ圧縮し、SWE-bench Proの性能低下を0.7%と報告している。ただしこれはTencent/AngelSlim側の評価値であり、local-genが同条件で測定した値ではない。

また213.66GiBは「必要VRAM213.66GB」という意味でもない。これはGGUFファイルの重み容量であり、実行時にはシステムRAM、VRAM、計算バッファ、KVキャッシュなどを別に考える必要がある。

「ノートPC 4090でHy4が動いた」の読み方に注意

AngelSlimの公開情報には、STQ1_0を使ってノートPC 4090（32GB RAM、16GB VRAM）を含む構成で1.02 トークン/sを記録した例がある。

ただし、この数字だけを切り取って「16GB VRAMのノートPC 4090単体で770B Hy4が1 tok/s出る」と解釈してはいけない。

公式に記載されている構成は、ノートPC 4090に加えて、4×A4000を搭載したサーバーを組み合わせた分散実行だ。つまり一般向け GPUを参加させられることは示しているが、一般的なノートPC1台で完結した実測ではない。

この差はかなり重要だ。Hy4 プレビュー版で本当に知りたいのは「GPU名」だけではなく、次の5点である。

1. GGUF全体をどこへ保持するか
2. システムRAMを何GB使うか
3. GPUへ何層・何テンソルをオフロードするか
4. 複数GPU・複数ノードを使うか
5. その構成で何トークン/s出るか

RTX 5090 32GB 1枚ではどう考えるべきか

RTX 5090は32GB VRAMを持つが、213.66GiBのSTQ1_0ですら重み全体はVRAMを大きく超える。

したがってRTX 5090 1枚で試す場合、前提になるのは全重みのGPU常駐ではなく、システムRAMやCPU側を使ったハイブリッド/オフロード実行だ。

問題は「起動できるか」だけではない。ストレージからのロード時間、RAM容量、メモリ帯域、CPU側エキスパート処理、PCIe転送、KVキャッシュが効いてくるため、実用速度は構成依存になる。

現時点では「RTX 5090 32GBならHy4が快適」と言える一次情報はない。逆に、低bit GGUFが出たことで「32GBでは絶対に試せない」と断言するのも古い。

正しい判断は、VRAMだけでなくRAMと実行環境を含むPC全体で見ることだ。

llama.cppは正式対応済みなのか

AngelSlimのHugging Faceページにはllama.cpp向けの利用表示が出ているが、ここも状態を確認する必要がある。

2026年9月3日確認時点で、ggml-org/llama.cppのHy4 アーキテクチャ対応PR #28127 はオープンのままだ。このPRはAngelSlimが公開したパッチを基にhy_v4 アーキテクチャを上流へ追加する内容で、まだ取り込みされていない。

つまり、通常版のllama.cppの通常リリースへHy4が正式に入ったと断定するのは早い。AngelSlim側パッチや対応派生版で動くことと、上流の最新配布済みバイナリでそのまま動くことは分けて考える。

Hugging Faceの自動生成された「How to use + llama.cpp」表示だけを見て、大容量GGUFを先にダウンロードするのは避けたい。

GGUFモデルをダウンロードする前に確認する5項目と同じく、アーキテクチャ対応と必要パッチを先に確認した方が安全だ。

OllamaやLM Studioはどう見るべきか

GGUFが存在することと、OllamaやLM Studioで安定して使えることも同義ではない。

これらは内部でllama.cpp系のモデル対応へ依存する部分があるため、Hy4 アーキテクチャの上流対応や各実行環境への取り込み時期を確認する必要がある。

そのため2026年9月3日時点では、「Hy4 previewのGGUFがあるからLM Studioのモデル検索で普通に使える」とは扱わない。

実行環境の役割自体を整理したい場合は、LM Studio・Ollama・llama.cppの違いも参照できる。

では誰が今試すべきか

現状のHy4 プレビュー版を試す価値が高いのは、次のようなユーザーだ。

• 200GB超のモデルファイルを扱えるストレージと大容量RAMがある
• llama.cpp パッチやビルドを自分で扱える
• CPU+GPU ハイブリッドや複数GPUの性能検証が目的
• 1 tok/s前後でも巨大最先端級 MoEを自前環境で動かすこと自体に価値がある
• 実行環境・量子化・分散推論の検証をしたい

逆に、LM StudioやOllamaを入れて数クリックで高速チャットしたい人が、RTX 5090を持っているという理由だけで最初に選ぶモデルではない。

選ぶときの判断

Hy4 プレビュー版は「個人PCでは対象外」から、「かなり条件付きだが一般向けハードウェアを含む実験対象」へ一段階進んだ。

最大の変化は、AngelSlimが約213.66GiBまで落としたSTQ1_0 GGUFを公開し、一般向け GPUを含む分散実行例まで示したことだ。

ただし、これは「16GB GPUで770Bが普通に動く」というニュースではない。公開実測はノートPC 4090と4×A4000 サーバーを組み合わせた構成であり、llama.cppのHy4 上流 PRもまだオープンである。

一般ユーザーが見るべき順番は、GPU VRAM → モデルファイル容量ではなく、モデルファイル容量 → システムRAM → 実行環境対応 → オフロード構成 → 実測速度だ。

Hy4 プレビュー版を本当に手元で試したいなら、まず200GB超の重みを置けるか、RAMをどこまで確保できるか、使う実行環境がHy4 アーキテクチャを正式に扱えるかを確認する。その条件が揃って初めて、RTX 5090などのGPUをどこまでオフロードへ使えるかを考えるのが現実的だ。