Tencent Hy Teamは、テキスト・画像・動画理解に対応するMoEフラッグシップモデル「Hy4」(tencent/Hy4)をHugging Faceで公開しました。言語バックボーンは総770B、トークンあたり活性49Bで、コンテキスト長は1M(1,048,576 tokens)です。
アーキテクチャの特徴
Hy4の言語バックボーンは78層で、先頭1層がdense FFN、残り77層がMoE FFNです。各MoE層は256個のルーティング専門家と1個の共有専門家を持ち、各トークンで上位8個のルーティング専門家と共有専門家を活性化します。総パラメータ770BにはViT、アダプター、DFly2を含みません。
アテンションにはDeepSeekとGLMに着想を得たGated DeepSeek Sparse Attention(Gated DSA)を採用し、IndexCacheで層をまたいで疎インデックスを再利用します。アテンションの定式化はMLAで、インデクサが上位2,048トークンを選択します。残差経路にはiHC(identity Hyper-Connections、4本の残差ストリーム)を使います。
視覚側は動的解像度に対応するViT(1.23B)を持ち、アダプターが画像・動画フレームの特徴を視覚トークンに変換してテキストトークンと一緒に処理します。
| 項目 | 値 |
|---|---|
| Hidden Size | 6,144 |
| 語彙サイズ | 120,832 |
| アテンションヘッド | 64 |
| MLA q_lora_rank / kv_lora_rank | 2,048 / 512 |
| Expert Intermediate Size | 2,048 |
| Dense FFN Intermediate Size | 18,432 |
| Vision Encoder層数 | 40 |
| Vision Patch Size | 16 × 16 |
DFly2による投機的デコーディング
Hy4は5層・3.3BのパラレルドラフターDFly2を内蔵しています。DFly2はHy4のKVキャッシュと疎インデックスを再利用し、長文脈の投機的デコーディングを低い一定コストで行う設計です。
ベースモデルの評価
Hy4 BaseはMMLU(5-shot)で91.6を記録しました。同じ表ではDeepSeek-V4-Pro-Baseが91.1です。
| ベンチマーク(5-shot) | Hy4 Base | Hy4 flash Base | Hy3 preview Base | DeepSeek-V4-flash-Base | DeepSeek-V4-Pro-Base |
|---|---|---|---|---|---|
| MMLU | 91.6 | 88.7 | 87.5 | 89.7 | 91.1 |
| MMLU-Pro | 73.9 | 71.1 | 65.8 | 68.6 | 73.4 |
| MMLU-Redux | 90.6 | 87.6 | 87.0 | 88.8 | 90.2 |
| SuperGPQA | 62.7 | 57.8 | 52.3 | 52.5 | 54.8 |
| C-Eval | 95.0 | 92.0 | 90.1 | 91.9 | 93.4 |
| CMMLU | 93.1 | 91.6 | 89.6 | 89.8 | 90.7 |
入手と実行環境
モデルはHugging Face、ModelScope、GitCodeで配布され、ライセンスはTencent Hy Licenseです。モデルカードにはGGUFへのリンクがあり、推論フレームワークとしてvLLMとSGLangの節、量子化とファインチューニングの節も設けられています。vLLMはPagedAttentionや分散推論を備えた推論・API配信ライブラリ、SGLangはLMSYSのもとで公開されている推論フレームワークです。

まだコメントはありません。