K2-Horizon、0.9Bから375B-A23Bまで6モデルを完全オープンで公開

スペック

重みの公開完全オープン。全アーティファクト、開発履歴、中間チェックポイント、事前学習データ、コードを公開

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

K2-Horizonは、0.9Bの密モデルから375B-A23BのMoEまで6種類の完全オープンな言語モデル群を公開しました。36B-A4Bモデルは、同じデータで訓練した32B密モデルにアクティブパラメータ7分の1でほぼ匹敵するとしています。

何が新しいか

K2-Horizonは、数学・科学、ソフトウェアエンジニアリング、深層リサーチ、オフィス自動化などの汎用推論とエージェント作業を対象にしたモデル群です。原文は、エージェントおよびコーディングのベンチマークで、規模の近い強力なオープンモデルに対して先行または競争力を示すと説明しています。

モデル構造では2つの手法を導入しています。

  • Mixture-of-Value Attention(MoVA):注意機構のvalue projectionにMoEを適用する手法
  • softplus attention gating:より柔軟で理論的根拠のある注意ゲート

36B-A4Bモデルはこの両方を使用しています。

デコード高速化では、ロスレス拡散アダプターのUnoを導入しました。別個のドラフトモデルを使わずに、デコードを最大2.2倍高速化します。

主な数値

項目 値
モデル数 6
規模の範囲 0.9B(密)〜375B-A23B(MoE)
36B-A4Bのアクティブパラメータ 4B(比較対象の32B密モデルの7分の1)
Unoのデコード高速化 最大2.2倍(ドラフトモデルなし)
合成事前学習トークン 約10T
共通事前学習コーパス 22Tトークン(6モデル中4モデルが共有)

公開範囲と入手方法

K2-HorizonはLLM360のオープンソース定義に従い、透明性と再現性を重視して公開しています。全アーティファクトはhttps://ifm.ai/k2/で入手できます。公開対象は次のとおりです。

  • 各学習段階の中間チェックポイントを含む開発の全履歴
  • 事前学習データと学習ログ
  • 学習・評価・インフラのコード一式
  • 密モデルとMoEの学習用フレームワークxLLM(本番規模)
  • 強化学習スタックRL360
  • 事前学習データを生成したパイプライン全体とその詳細なドキュメント

背景と意味

原文は、データを構築したパイプラインを、オープンなリリースでも最も開示されにくい部分だと位置づけています。これらのパイプラインは約10Tの合成事前学習トークンを生成しており、原文は合成データが大規模事前学習の主要な材料になり得ることを示したとしています。

また、4モデルが同一の22Tトークンのコーパスとレシピを共有しているため、一貫したスケーリング挙動を確認でき、規模と疎性を条件をそろえて比較する研究に使えます。

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内