TencentはHugging Faceで、Qwen3.8-27B向けの5層DSpineドラフトモデルtencent/Qwen3.8-27B-DSpine-b16を公開しました。Greedy条件のGSM8Kで受理長7.20を示し、公式DFlash2の5.69を上回っています。ライセンスはapache-2.0で、チェックポイントとして重みを公開しています。
QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。
DSpineの方式
DSpineはドラフトトークンを並列生成します。各層が予測した前駆特徴を隣接位置へ渡し、ネットワーク深度を通じて因果依存関係を伝える方式です。今回のチェックポイントはQwen/Qwen3.8-27B用の5層ドラフトモデルで、ブロックサイズ16、スライディングウィンドウ8,192トークンです。
評価条件
| 項目 | 内容 |
|---|---|
| ランタイム | SGLang 0.5.22、BF16、FlashAttention 3、同時実行数8 |
| ドラフトブロック数 | DSpine 16 / DFlash2 8 |
| DSpine推論 | DSparkを参照する動的検証、ReplaySSM有効 |
| 一般ベンチマーク | xhigh reasoning、greedyとtemperature sampling、最大4,096新規トークン |
| エージェントベンチマーク | low/xhigh reasoning、各サブセット20会話、ツール判断プレフィックスを記録順に再生、プレフィックスキャッシュ有効、最大32,768新規トークン |
| サンプリング | temperature=1.0、top_p=0.95、top_k=20 |
SGLangはLMSYSのもとで公開されている推論フレームワークです。
受理長の比較
一般ベンチマーク:
| タスク | Greedy DFlash2 | Greedy DSpine | Sampled DFlash2 | Sampled DSpine |
|---|---|---|---|---|
| GSM8K | 5.69 | 7.20 | 5.45 | 6.31 |
| MATH-500 | 5.49 | 6.49 | 5.27 | 5.66 |
| HumanEval | 4.87 | 5.71 | 4.34 | 4.71 |
| MBPP | 5.04 | 6.14 | 4.79 | 5.41 |
| MT-Bench | 4.11 | 4.48 | 3.89 | 4.03 |
エージェントベンチマーク:
| ベンチマーク | low DFlash2 | low DSpine | xhigh DFlash2 | xhigh DSpine |
|---|---|---|---|---|
| WorkBuddy Code | 4.19 | 5.08 | 4.06 | 4.92 |
| WorkBuddy Web | 3.95 | 4.91 | 3.95 | 5.01 |
| WorkBuddy Office | 4.24 | 5.63 | 4.20 | 5.49 |
| SWE-bench Pro | 4.19 | 4.99 | 4.00 | 4.77 |
| τ²-bench | 4.70 | 5.53 | 4.29 | 4.95 |
エンドツーエンドのスループット
スループットは総出力トークン数を並行リプレイの実時間で割った値(tokens/s)です。WorkBuddy Code(low)では、自己回帰デコード(AR)が253.35、DFlash2が590.27(AR比2.33倍)です。
まだコメントはありません。