inclusionAIは、inclusionAI/Ling-3.0-flash向けのスペキュレーティブデコーディング用ドラフトモデル「Ling3-Flash-UBTree-B16」をHugging Faceで公開しました。保存パラメータ数は481,983,774(482.0M)、重みはBF16でMIT Licenseです。
何が新しいか
UBTreeは、unigram proposerとbigram selectorを組み合わせるドラフト方式です。処理は次の4段階です。
- DFlashバックボーンが将来位置の候補トークンを並列に提案する
- selectorが隣接候補間の遷移を並列にスコアリングする
- 検証予算内で有望な枝を残してツリーを構築する
- 対象モデルがツリーを検証し、受理された継続を確定する
論文(arXiv:2609.39972)は、高温度の対象モデル出力に対してrenormalized KLで教師付けするtree-native trainingも提案しています。学習はDFlashでwarm startした後、バックボーンとUBTree selectorを同時に学習しています。
仕様
| 項目 | 値 |
|---|---|
| アーキテクチャ | Ling3UBTreeModel |
| バックボーン | 全結合注意Transformer 5層 |
| 隠れサイズ | 2,560 |
| Attention heads / KV heads | 32 / 32 |
| 対象モデルの補助特徴層(0始まり) | 1, 11, 23, 29, 35 |
| ドラフトブロックサイズ | 16(anchor込み) |
| 候補top-k | ドラフト位置ごとに64 |
| デフォルト検証ツリー予算 | 64 non-root nodes + 1 anchor |
名称の「B16」はドラフトブロックサイズを指し、検証ツリーのノード予算ではありません。トークン埋め込みとLMヘッドは対象モデルと共有しており、その重みは482Mに含まれません。
利用条件と試し方
このチェックポイントはinclusionAI/Ling-3.0-flashと併用する前提で、単独のテキスト生成モデルとしては使えません。inclusionAIはLing3向けUBTreeのSGLang統合をまだオープンソースで公開しておらず、インストール手順とサービング例は統合の公開後に追加するとしています。SGLangはLMSYSのもとで公開されている推論フレームワークです。
ベンチマーク
GSM8K、MATH-500、AIME 2025、HumanEval、MBPP、LiveCodeBenchのAcceptance lengthとSpeedupはいずれもTBDです。Acceptance lengthは検証1ステップあたりに確定するトークン数の平均(対象モデルのトークンを含む)、Speedupは同一ハードウェア・入力・デコード設定での対象モデル単独の自己回帰デコードとの比較と定義しています。ランタイムのバージョン、ツリー予算、並列度、計測手順は結果と併せて報告するとしています。
まだコメントはありません。