vLLM、Inkling 2 Smallを初日サポート GB200で630 tok/s

vLLMは、Thinking MachinesのマルチモーダルMoEモデル「Inkling 2 Small」(総594B・活性17B、最大1Mコンテキスト)を公開初日からサポートしました。NVIDIA GB200・TP4の単一ユーザー条件で、受理長3.5のとき約630 tok/sのデコード速度を報告しています。

vLLMは大規模言語モデルの推論とAPI配信のためのライブラリで、OpenAI互換APIからモデルを利用できます。統合・最適化はThinking MachinesのAurick QiaoとInferactのWoosuk Kwonがリードしました。

モデルの構成

Inkling 2 Smallは画像とテキストを入力し、テキストを出力する48層のMoEモデルです。ルーティング専門家は384個で、top-8を選択します。前世代Inklingと比べた主な違いは次のとおりです。

項目	Inkling	Inkling 2 Small
層数	66(55 sliding-window + 11 full)	48(40 sliding-window + 8 full)
残差経路	residual stream	block attention residuals(6層×8ブロック)
Heads(query / KV)	full 64/8、sliding 64/16	全層 48/8
Sliding window	512	1,024
MoE	256 routed(top-6)+2 shared	384 routed(top-8)、shared なし
専門家の精度	NVFP4	NVFP4(層0–39)、MXFP8(層40–47)
入力モダリティ	テキスト・画像・音声	テキスト・画像
画像エンコーダ	4層hMLP	23層ViT
投機的デコード	8 chained MTP heads	DSpark、1ステップ7トークン

混合精度MoEにより、単一ノードで提供できます。NVFP4の活性化には16要素ブロックごとに最大値を6と4へスケールした2候補を試し、再構成誤差(MAE)の小さい方を採るFour Over Sixを使います。DSparkは5層の投機モデルで、DeepSeekのDSpark論文が示したRNNヘッド版を採用しています。

vLLMの最適化と性能

vLLMは、all-reduce・short convolution・残差更新・attention-residual mix・RMSNormを1つにまとめた融合カーネルallreduce_conv_mixを実装し、all-reduceをNVLink multicastで実行します。各カーネルはPDLで起動し、前カーネルの末尾と重ねます。専門家の活性化量子化は生成側カーネル内で行い、専門家GEMMにはFlashInfer同梱のTensorRT-LLM batched-GEMMカーネルを使います。

• sequence parallelism: 8KトークンのprefillをTP4で22%、TP8で26%短縮し、KVキャッシュ用に1GPUあたり1.3–1.9 GiBを解放
• Gluon製のデコード用relative attentionカーネル: 6:1のGQAで6ヘッドを64行タイルにまとめ、100Kコンテキストのbatch-1デコードを15.1 msから4.8 msに短縮

エージェント型ワークロード(TP8=4 GPU×2ノード、DSparkのprobabilistic drafting、prefix caching、各ユーザー100 tokens/s)での結果は次のとおりです。

セッションコンテキスト	出力 tok/s/GPU	同時セッション	prefix-cacheヒット率	受理長
32K	~1,070	~84	91%	3.3
64K	~915	~72	95%	3.4
128K	~700	~55	98%	3.5
256K	~450	~37	99%	3.5

精度面では、NIAH(最大1Mトークン)、MMMU-Pro、HLEでDSpark有効時のスコアが投機的デコードなしの実行と一致したとvLLMは報告しています。

試し方

モデルIDはthinkingmachines/Inkling-2-Smallです。原文の実行例は次のとおりです。

vllm serve thinkingmachines/Inkling-2-Small \
  --tensor-parallel-size 8 \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

DSparkを使う場合は--speculative-configでmethodをdspark、num_speculative_tokensを7、draft_sample_methodをprobabilisticに設定します。vLLMはこのモデル向けにLoRAにも対応し、RLはSkyRL経由でサポートします。