Tencent、220B総・12B活性のMoE「Hy4 flash」を公開

スペック

総パラメータ220B(仕様表ではEngram、ViT、DFly2を除き155.5B)
活性パラメータ12B per token(仕様表ではText 11.3B + Vision 0.43B)
コンテキスト長1M (1,048,576 tokens)
ライセンスTencent Hy License
配布形式・量子化GGUF
4bit量子化の目安メモリ約132GB(192GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

TencentはHugging Face上で、総パラメータ220B(Engram 64Bを含む)、1トークンあたり活性12BのMoEモデル「Hy4 flash」(tencent/Hy4-flash)を公開しました。テキストと画像を入力に取り、テキストを出力し、最大1M(1,048,576)トークンのコンテキストに対応します。

何が新しいか

TencentはHy4 flashを、Hyシリーズでこれまでで最も費用対効果の高いモデルと位置づけています。Hy4と比べて、次の3点のアーキテクチャ変更を加えています。

  • Hybrid attention: 疎注意(IndexPool)とスライディングウィンドウ注意(SWA)を1:3の比率で交互に配置
  • LatentMoE: ルーティング専門家を低次元の潜在空間で動作させ、各トークンで512個中16個のルーティング専門家と共有専門家1個を活性化
  • N-gram embedding(Engram): 学習済みの2-gram・3-gram表現をマルチヘッドのハッシュ参照で取り出し、バックボーンを補強

構成の要点

項目 値
言語バックボーン 42層(dense 1層+MoE 41層)
層間接続 iHC(identity Hyper-Connections)、残差ストリーム4本
注意層の内訳 Sparse 12層 / SWA 30層、MLA方式
Sparseの文脈選択 グループ単位で最大2,048トークン
SWAウィンドウ 512トークン
MoE潜在次元 1,536
Engramを挿入する層 1, 11, 21, 31
ビジョンエンコーダー SigLIP2-So400m-Patch16-Res512を適応、27層、MLPプロジェクターで接続
語彙サイズ 120,832

バックボーンとは別に、5層・0.85BパラメータのドラフターDFly2を内蔵しています。DFly2はターゲットモデルのKVキャッシュと疎インデックスを再利用し、長文脈の投機的デコーディングを低く一定のコストで実行します。

試し方・提供条件

TencentはモデルカードからGGUFへのリンクを提供しています。GGUFはGGMLプロジェクトで仕様が公開されている推論用モデルの保存形式です。モデルカードのクイックスタートにはTransformersとOpenAI互換API、推論フレームワークにはvLLMとSGLangの項目があり、DFly2による投機的デコーディングと量子化の項目、ファインチューニングの項目も用意されています。ライセンスはTencent Hy Licenseで、Hugging FaceのほかModelScopeとGitCodeでも配布しています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内