XiaomiMiMoは、総パラメータ1.02T・活性パラメータ42BのMoE言語モデルMiMo-V2.5-Proと、そのBaseモデルMiMo-V2.5-Pro-BaseをHugging FaceとModelScopeでMITライセンスのもと公開しました。Pro版は最大1M tokensのコンテキストに対応し、エージェント処理、複雑なソフトウェアエンジニアリング、長期タスク向けに設計しています。
何が新しいか
MiMo-V2.5-Proは、MiMo-V2-Flashで導入したハイブリッド注意機構と3層のMulti-Token Prediction(MTP)を採用しています。原文は、数千回のツール呼び出しにわたる複雑な軌跡を1Mトークンのコンテキストで維持できるとしています。事後学習にはSFT、大規模なエージェントRL、Multi-Teacher On-Policy Distillation(MOPD)を使っています。
アーキテクチャと学習
| 項目 | 内容 |
|---|---|
| 注意機構 | SWAとGAを6:1で交互配置、SWAウィンドウ長128 |
| KV-cache削減 | nearly 7x(learnable attention sink biasで長文脈性能を維持) |
| MTP | dense FFNの軽量MTPモジュール×3、推論時の出力速度3倍 |
| 事前学習 | 27T tokens、FP8 mixed precision、ネイティブ32k seq length |
| コンテキスト長 | Pro: 1M / Base: 256K |
MTPはRL学習時のrollout高速化にも使えるとしています。モデル表では、ProとBaseの精度をいずれもFP8 (E4M3) Mixedと記載しています。
ベンチマーク
Baseモデル評価では、MiMo-V2.5-Pro BaseをMiMo-V2.5 Base(15B/310B)、DeepSeek-V4-Pro Base(49B/1.6T)、DeepSeek-V4-Flash Base(13B/284B)、Kimi-K2 Base(32B/1.04T)と比較しています。
| ベンチマーク | MiMo-V2.5-Pro Base | DeepSeek-V4-Pro Base | Kimi-K2 Base |
|---|---|---|---|
| MMLU (5-shot) | 89.4 | 90.1 | 87.8 |
| MMLU-Pro (5-shot) | 68.5 | 73.5 | 69.2 |
| GSM8K (8-shot) | 99.6 | 92.6 | 92.1 |
| MATH (4-shot) | 86.2 | 64.5 | 70.2 |
| HumanEval+ (1-shot) | 75.6 | - | 84.8 |
| LiveCodeBench v6 (1-shot) | 39.6 | - | 26.3 |
| SWE-Bench AgentLess (3-shot) | 35.7 | - | 28.2 |
| GPQA-Diamond (5-shot) | 66.7 | - | 48.1 |
長文脈では、OpenAIのGraphWalksを32k〜1M input tokensで評価しました。MiMo-V2.5-Proは512kでBFS 0.56/Parents 0.92、1MでBFS 0.37/Parents 0.62でした。V2 Proは128kを超えると急速に劣化し、1Mでは両タスクとも0.00でした。
入手方法
MiMo-V2.5-Pro: Hugging FaceXiaomiMiMo/MiMo-V2.5-ProまたはModelScopeMiMo-V2.5-Pro-Base: Hugging FaceXiaomiMiMo/MiMo-V2.5-Pro-BaseまたはModelScope
まだコメントはありません。