Moonshot AI、総1T・活性32BのMoE「Kimi-K2.5」を公開

スペック

総パラメータ1T
活性パラメータ32B
コンテキスト長256K
ライセンスother
重みの公開オープンソース
4bit量子化の目安メモリ約600GB(単体のマシンでは難しい規模)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Moonshot AIは2026年1月29日、Hugging Faceでmoonshotai/Kimi-K2.5のモデル情報を公開しました。Kimi-K2-Baseを基盤に約15兆の視覚・テキスト混合トークンで継続事前学習した、総パラメータ1T・活性32BのMoE構成のネイティブなマルチモーダル・エージェントモデルです。

Moonshot AIは北京に拠点を置き、Kimiモデル群を開発するAI企業です。

何が新しいか

Kimi K2.5は、視覚と言語の理解、エージェント機能、即時モードと思考モード、会話型とエージェント型の利用形態を1つのモデルに統合しています。原文が挙げる主な機能は次の3点です。

  • Native Multimodality: 視覚・言語トークンで事前学習し、視覚知識、クロスモーダル推論、視覚入力に基づくツール利用を扱います。
  • Coding with Vision: UIデザインや動画ワークフローといった視覚的な仕様からコードを生成し、視覚データ処理用のツールを自律的に編成します。
  • Agent Swarm: 単一エージェントのスケーリングから、自律的に協調する群れ型の実行方式へ移行しました。複雑なタスクを並列のサブタスクに分解し、動的に生成したドメイン特化エージェントがそれぞれを実行します。

アーキテクチャ

Moonshot AIはアーキテクチャをMoEとし、384エキスパートのうちトークンごとに8個を選択し、共有エキスパートを1個置く構成にしています。

項目 値
レイヤー数(Dense層を含む) 61
Denseレイヤー数 1
Attention Hidden Dimension 7168
MoE Hidden Dimension(エキスパートあたり) 2048
Attentionヘッド数 64
エキスパート数 / 選択数 / 共有 384 / 8 / 1
語彙サイズ 160K
Attention機構 MLA
活性化関数 SwiGLU
Vision Encoder MoonViT(400M)

パイプラインタグはimage-text-to-text、ライセンスはotherです。

ベンチマーク

モデルカードはKimi K2.5(Thinking)を、GPT-5.2(xhigh)、Claude 4.5 Opus(Extended Thinking)、Gemini 3 Pro(High Thinking Level)、DeepSeek V3.2(Thinking)などと比較しています。抜粋に含まれる結果は次のとおりです。

ベンチマーク Kimi K2.5 GPT-5.2 Claude 4.5 Opus Gemini 3 Pro DeepSeek V3.2
HLE-Full 30.1 34.5 30.8 37.5 25.1
HLE-Full(w/ tools) 50.2 45.5 43.2 45.8 40.8
AIME 2025 96.1 100 92.8 95.0 93.1

ツールありのHLE-FullではKimi K2.5が比較対象中で最も高いスコアです。

1月29日の変更点

Changelogによると、Moonshot AIはデフォルトのシステムプロンプトが利用者の混乱や想定外の挙動を招く可能性があるとして削除しました。あわせて、チャットテンプレート内の誤ったトークンを置き換えています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内