vLLMは2026年11月20日、Thinking Machinesが発表したループ型マルチモーダルMoE「Inkling 2 Mini」(総26B・活性3.5B、最大1M tokens)と、パス数を変えられる研究用チェックポイントTML-d24-varloop-researchに初日から対応しました。対応ハードウェアはNVIDIA Blackwell、Hopper、DGX Sparkで、ブログはInferact、Thinking Machines、NVIDIAの共同執筆です。
vLLMは大規模言語モデルの推論とAPI配信のためのライブラリで、OpenAI互換APIからモデルを利用できます。
Inkling 2 Miniの構造
24層をprelude(第0〜5層)、ループコア(第6〜17層)、coda(第18〜23層)に分け、コアの12層だけを重み共有で1トークンあたり3パス実行します。通常のループモデルと違い、3パスはすべてpreludeの出力から始まり、直前のパスの情報はゲート付きメッセージとしてのみ受け取ります。2パス目以降はコア各層のquery・key・value・MLPの4入力ごとにメッセージを読み、rank-64のコントローラがチャネル単位で入力に統合します(1トークンあたり48メッセージ)。
| 項目 | 値 |
|---|---|
| 総/活性パラメータ | 26B / 3.5B |
| 最大コンテキスト長 | 1M tokens |
| 層数 | 24層(hidden size 2,304) |
| ループ | 第6〜17層を3パス |
| KVキャッシュ / 畳み込み状態キャッシュ | 48 / 48 |
| エキスパート | 128個(top-8)、NVFP4(第0〜19層)、MXFP8(第20〜23層) |
| Attention | sliding-window 20層+full 4層、query 24ヘッド・KV 8ヘッド |
| 画像 | 23層ViTエンコーダ |
DSparkの3層ドラフトは、prelude内、2パス目、3パス目、最終出力の4か所の隠れ状態を参照します。
vLLM側の実装
- 各追加パスを独立したattention層として登録し、KVキャッシュマネージャとprefix cachingが通常のキャッシュとして扱うため、新しいキャッシュ管理ロジックは不要でした。
- 1層ぶんの4メッセージ読み出しを1つのattention-residualカーネルにまとめ、4コントローラの重みを積んでbatched GEMMで実行します。コントローラのRMS正規化は1つのTritonカーネルで計算し、別のTritonカーネルがゲート付き統合と、メッセージを受け取るサブレイヤーのRMSNormを融合します。統合はFMA縮約なしのFP32で、参照実装に合わせています。
- Inkling 2 Small向けの融合カーネル(all-reduce、短畳み込み、残差更新、attention-residual mix、RMSNorm)をhidden size 4,608から2,304へ一般化し、TP1を含む全TPサイズで使います。TP>1の小バッチではNVLink multicastでall-reduceも融合します。
- SkyRLによる強化学習向け配信にも対応します。
試し方
Dockerイメージvllm/vllm-openai:inkling-2-miniを使います。Inkling 2 Mini(DSpark有効)の起動例:
docker run --gpus all --ipc=host -p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface vllm/vllm-openai:inkling-2-mini thinkingmachines/Inkling-2-Mini --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'
研究用チェックポイントを2パス・KVキャッシュ共有で起動する例:
docker run --gpus all --ipc=host -p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface vllm/vllm-openai:inkling-2-mini thinkingmachines/TML-d24-varloop-research --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice --hf-overrides '{"text_config": {"loop_num_passes": 2, "loop_share_cache": true}}'
loop_num_passes:起動時に指定、最小1、既定3。少ないほど速く、多いほど品質が上がります。DSparkはドラフトが固定の層訪問位置を読むため既定の3パスが必要です。loop_share_cache:コア各層の全パスで1つのKVキャッシュを共有し、後続トークンは最後のパスのKVを読みます。畳み込み状態はパスごとに保持します。- Inkling 2 Miniなど固定ループのチェックポイントでは両オプションとも拒否されます。
研究用チェックポイントの速度とキャッシュ容量
GB200 1基、TP1、4Kコンテキスト、順伝播のみでの測定です。
| パス数 | デコード1ステップ(バッチ1) | 同(バッチ32) | KVキャッシュ容量 |
|---|---|---|---|
| 1 | 1.51 ms | 3.81 ms | 352K tokens |
| 2 | 2.67 ms | 5.92 ms | 233K tokens |
| 3 | 3.85 ms | 8.11 ms | 175K tokens |
| 3(KV共有) | 3.86 ms | 8.10 ms | 194K tokens |
KV共有は、パスごとの畳み込み状態キャッシュが残るため、パスを1つ減らすより空くメモリが少なくなります。
精度検証
vLLMは参照実装と同じデータ型、同じNVFP4/MXFP8活性量子化、FP32のメッセージ統合を保ち、違いはリダクション順のみです。固定プロンプトで48か所の層訪問における隠れ状態の差は、参照実装内のFlashAttention-4経路とPyTorch経路の差と同程度で、同一入力に対するMoE出力はビット単位で一致しました。DSpark有効の状態で、最大1M tokensのneedle-in-a-haystack、inkling-verifyを使ったMMMU-ProとHLE、GSM8Kでも精度を検証しています。

まだコメントはありません。