TencentはHugging Face上で、総パラメータ220B(Engram 64Bを含む)、1トークンあたり活性12BのMoEモデル「Hy4 flash」(tencent/Hy4-flash)を公開しました。テキストと画像を入力に取り、テキストを出力し、最大1M(1,048,576)トークンのコンテキストに対応します。
何が新しいか
TencentはHy4 flashを、Hyシリーズでこれまでで最も費用対効果の高いモデルと位置づけています。Hy4と比べて、次の3点のアーキテクチャ変更を加えています。
- Hybrid attention: 疎注意(IndexPool)とスライディングウィンドウ注意(SWA)を1:3の比率で交互に配置
- LatentMoE: ルーティング専門家を低次元の潜在空間で動作させ、各トークンで512個中16個のルーティング専門家と共有専門家1個を活性化
- N-gram embedding(Engram): 学習済みの2-gram・3-gram表現をマルチヘッドのハッシュ参照で取り出し、バックボーンを補強
構成の要点
| 項目 | 値 |
|---|---|
| 言語バックボーン | 42層(dense 1層+MoE 41層) |
| 層間接続 | iHC(identity Hyper-Connections)、残差ストリーム4本 |
| 注意層の内訳 | Sparse 12層 / SWA 30層、MLA方式 |
| Sparseの文脈選択 | グループ単位で最大2,048トークン |
| SWAウィンドウ | 512トークン |
| MoE潜在次元 | 1,536 |
| Engramを挿入する層 | 1, 11, 21, 31 |
| ビジョンエンコーダー | SigLIP2-So400m-Patch16-Res512を適応、27層、MLPプロジェクターで接続 |
| 語彙サイズ | 120,832 |
バックボーンとは別に、5層・0.85BパラメータのドラフターDFly2を内蔵しています。DFly2はターゲットモデルのKVキャッシュと疎インデックスを再利用し、長文脈の投機的デコーディングを低く一定のコストで実行します。
試し方・提供条件
TencentはモデルカードからGGUFへのリンクを提供しています。GGUFはGGMLプロジェクトで仕様が公開されている推論用モデルの保存形式です。モデルカードのクイックスタートにはTransformersとOpenAI互換API、推論フレームワークにはvLLMとSGLangの項目があり、DFly2による投機的デコーディングと量子化の項目、ファインチューニングの項目も用意されています。ライセンスはTencent Hy Licenseで、Hugging FaceのほかModelScopeとGitCodeでも配布しています。

まだコメントはありません。