Tencent、770BのMoEマルチモーダルモデル「Hy4」を公開

スペック

総パラメータ770B
活性パラメータ49B(テキスト)+ 1.23B(ビジョン)
コンテキスト長1M (1,048,576 tokens)
ライセンスTencent Hy License
配布形式・量子化GGUF
4bit量子化の目安メモリ約462GB(単体のマシンでは難しい規模)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Tencent Hy Teamは、テキスト・画像・動画理解に対応するMoEフラッグシップモデル「Hy4」(tencent/Hy4)をHugging Faceで公開しました。言語バックボーンは総770B、トークンあたり活性49Bで、コンテキスト長は1M(1,048,576 tokens)です。

アーキテクチャの特徴

Hy4の言語バックボーンは78層で、先頭1層がdense FFN、残り77層がMoE FFNです。各MoE層は256個のルーティング専門家と1個の共有専門家を持ち、各トークンで上位8個のルーティング専門家と共有専門家を活性化します。総パラメータ770BにはViT、アダプター、DFly2を含みません。

アテンションにはDeepSeekとGLMに着想を得たGated DeepSeek Sparse Attention(Gated DSA)を採用し、IndexCacheで層をまたいで疎インデックスを再利用します。アテンションの定式化はMLAで、インデクサが上位2,048トークンを選択します。残差経路にはiHC(identity Hyper-Connections、4本の残差ストリーム)を使います。

視覚側は動的解像度に対応するViT(1.23B)を持ち、アダプターが画像・動画フレームの特徴を視覚トークンに変換してテキストトークンと一緒に処理します。

項目 値
Hidden Size 6,144
語彙サイズ 120,832
アテンションヘッド 64
MLA q_lora_rank / kv_lora_rank 2,048 / 512
Expert Intermediate Size 2,048
Dense FFN Intermediate Size 18,432
Vision Encoder層数 40
Vision Patch Size 16 × 16

DFly2による投機的デコーディング

Hy4は5層・3.3BのパラレルドラフターDFly2を内蔵しています。DFly2はHy4のKVキャッシュと疎インデックスを再利用し、長文脈の投機的デコーディングを低い一定コストで行う設計です。

ベースモデルの評価

Hy4 BaseはMMLU(5-shot)で91.6を記録しました。同じ表ではDeepSeek-V4-Pro-Baseが91.1です。

ベンチマーク(5-shot) Hy4 Base Hy4 flash Base Hy3 preview Base DeepSeek-V4-flash-Base DeepSeek-V4-Pro-Base
MMLU 91.6 88.7 87.5 89.7 91.1
MMLU-Pro 73.9 71.1 65.8 68.6 73.4
MMLU-Redux 90.6 87.6 87.0 88.8 90.2
SuperGPQA 62.7 57.8 52.3 52.5 54.8
C-Eval 95.0 92.0 90.1 91.9 93.4
CMMLU 93.1 91.6 89.6 89.8 90.7

入手と実行環境

モデルはHugging Face、ModelScope、GitCodeで配布され、ライセンスはTencent Hy Licenseです。モデルカードにはGGUFへのリンクがあり、推論フレームワークとしてvLLMとSGLangの節、量子化とファインチューニングの節も設けられています。vLLMはPagedAttentionや分散推論を備えた推論・API配信ライブラリ、SGLangはLMSYSのもとで公開されている推論フレームワークです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内