K2-Horizonは、0.9Bの密モデルから375B-A23BのMoEまで6種類の完全オープンな言語モデル群を公開しました。36B-A4Bモデルは、同じデータで訓練した32B密モデルにアクティブパラメータ7分の1でほぼ匹敵するとしています。
何が新しいか
K2-Horizonは、数学・科学、ソフトウェアエンジニアリング、深層リサーチ、オフィス自動化などの汎用推論とエージェント作業を対象にしたモデル群です。原文は、エージェントおよびコーディングのベンチマークで、規模の近い強力なオープンモデルに対して先行または競争力を示すと説明しています。
モデル構造では2つの手法を導入しています。
- Mixture-of-Value Attention(MoVA):注意機構のvalue projectionにMoEを適用する手法
- softplus attention gating:より柔軟で理論的根拠のある注意ゲート
36B-A4Bモデルはこの両方を使用しています。
デコード高速化では、ロスレス拡散アダプターのUnoを導入しました。別個のドラフトモデルを使わずに、デコードを最大2.2倍高速化します。
主な数値
| 項目 | 値 |
|---|---|
| モデル数 | 6 |
| 規模の範囲 | 0.9B(密)〜375B-A23B(MoE) |
| 36B-A4Bのアクティブパラメータ | 4B(比較対象の32B密モデルの7分の1) |
| Unoのデコード高速化 | 最大2.2倍(ドラフトモデルなし) |
| 合成事前学習トークン | 約10T |
| 共通事前学習コーパス | 22Tトークン(6モデル中4モデルが共有) |
公開範囲と入手方法
K2-HorizonはLLM360のオープンソース定義に従い、透明性と再現性を重視して公開しています。全アーティファクトはhttps://ifm.ai/k2/で入手できます。公開対象は次のとおりです。
- 各学習段階の中間チェックポイントを含む開発の全履歴
- 事前学習データと学習ログ
- 学習・評価・インフラのコード一式
- 密モデルとMoEの学習用フレームワーク
xLLM(本番規模) - 強化学習スタック
RL360 - 事前学習データを生成したパイプライン全体とその詳細なドキュメント
背景と意味
原文は、データを構築したパイプラインを、オープンなリリースでも最も開示されにくい部分だと位置づけています。これらのパイプラインは約10Tの合成事前学習トークンを生成しており、原文は合成データが大規模事前学習の主要な材料になり得ることを示したとしています。
また、4モデルが同一の22Tトークンのコーパスとレシピを共有しているため、一貫したスケーリング挙動を確認でき、規模と疎性を条件をそろえて比較する研究に使えます。

まだコメントはありません。