百度(Baidu)は、総パラメータ280B・トークン当たり活性14Bの疎なMoE言語モデル「ERNIE 5.5 Flash」の事前学習終了時点の重みERNIE-5.5-Flash-Base(FP8)とERNIE-5.5-Flash-Base-BF16(BF16)を公開しました。33.5Tトークンでスクラッチから事前学習し、学習コンテキストは最大128K、ファインチューニングと推論は1Mトークンに対応します。
何が新しいか
公開したのはミッドトレーニングやポストトレーニングを一切行う前のチェックポイントです。百度は、ドメインや推論タスク、エージェント用途ごとに必要なデータや学習目標が異なるため、汎用能力を土台に開発者が追加学習の方向を選べるようにしたと説明しています。ドメイン適応、命令チューニング、強化学習研究の共通の開始点という位置づけです。事前学習データはリポジトリ規模のコードや長文脈理解など、後から付けにくい能力を重視しています。
アーキテクチャ
| 項目 | 内容 |
|---|---|
| 層数 | 43(Dense FFN 1 + Multi-Router Latent MoE 42) |
| 注意層 | HCA 37層 + MLA(DSA併用)6層 |
| 専門家 | MoE層ごとにルーティング専門家512(top-10)+共有専門家1 |
| オプティマイザ | Muon |
| 事前学習 | 33.5T tokens、最大128K |
- ハイブリッド注意: 7層に1層がMLAで全文脈にアクセスし、残りはHeavily Compressed Attention(HCA)で128トークンごとに1エントリだけをキャッシュします。ヘッド次元はHCA層が512、MLA層が256です。MLA層はDSAを採用し、クエリ当たりのコア注意コストが文脈長に応じて増えません。同程度のKVキャッシュ予算では、HCAとMLAの組み合わせがCompressed Sparse Attention(CSA)との組み合わせを上回ったとしています。
- Low-Rank Gated AttentionとVirtual Head Attention(VHA): 注意出力ゲートを低ランクのクエリ潜在表現から計算し、ゲート射影パラメータを75%削減しています。VHAはヘッド間の軽量な低ランク後段ミックスで、推論時は注意演算に融合します。全注意層でQK-normと併用しています。
- Multi-Router Latent MoE: 単一ルーターの代わりに、独立に初期化した複数のsigmoidルーターで半幅の潜在専門家を選択します。
評価はDeepSeek-V4-Flash-Base(284B-A13B)、Hy3-preview-Base(295B-A21B)、MiMo-V2.5-Base(310B-A15B)と同一パイプライン・同一プロンプト・同一few-shot設定で比較しています。DeepSeekは重みを公開している杭州のAI開発企業です。
入手方法
baidu/ERNIE-5.5-Flash-Base: FP8(safetensors)baidu/ERNIE-5.5-Flash-Base-BF16: BF16(safetensors)
どちらもHugging FaceとModelScopeからダウンロードできます。ライセンス表記はother、pipeline_tagはtext-generationです。
まだコメントはありません。