vLLM、Inkling 2 Miniに初日対応 26B/活性3.5Bのループ型MoE

vLLMは2026年11月20日、Thinking Machinesが発表したループ型マルチモーダルMoE「Inkling 2 Mini」(総26B・活性3.5B、最大1M tokens)と、パス数を変えられる研究用チェックポイントTML-d24-varloop-researchに初日から対応しました。対応ハードウェアはNVIDIA Blackwell、Hopper、DGX Sparkで、ブログはInferact、Thinking Machines、NVIDIAの共同執筆です。

vLLMは大規模言語モデルの推論とAPI配信のためのライブラリで、OpenAI互換APIからモデルを利用できます。

Inkling 2 Miniの構造

24層をprelude(第0〜5層)、ループコア(第6〜17層)、coda(第18〜23層)に分け、コアの12層だけを重み共有で1トークンあたり3パス実行します。通常のループモデルと違い、3パスはすべてpreludeの出力から始まり、直前のパスの情報はゲート付きメッセージとしてのみ受け取ります。2パス目以降はコア各層のquery・key・value・MLPの4入力ごとにメッセージを読み、rank-64のコントローラがチャネル単位で入力に統合します(1トークンあたり48メッセージ)。

項目 値
総/活性パラメータ 26B / 3.5B
最大コンテキスト長 1M tokens
層数 24層(hidden size 2,304)
ループ 第6〜17層を3パス
KVキャッシュ / 畳み込み状態キャッシュ 48 / 48
エキスパート 128個(top-8)、NVFP4(第0〜19層)、MXFP8(第20〜23層)
Attention sliding-window 20層+full 4層、query 24ヘッド・KV 8ヘッド
画像 23層ViTエンコーダ

DSparkの3層ドラフトは、prelude内、2パス目、3パス目、最終出力の4か所の隠れ状態を参照します。

vLLM側の実装

  • 各追加パスを独立したattention層として登録し、KVキャッシュマネージャとprefix cachingが通常のキャッシュとして扱うため、新しいキャッシュ管理ロジックは不要でした。
  • 1層ぶんの4メッセージ読み出しを1つのattention-residualカーネルにまとめ、4コントローラの重みを積んでbatched GEMMで実行します。コントローラのRMS正規化は1つのTritonカーネルで計算し、別のTritonカーネルがゲート付き統合と、メッセージを受け取るサブレイヤーのRMSNormを融合します。統合はFMA縮約なしのFP32で、参照実装に合わせています。
  • Inkling 2 Small向けの融合カーネル(all-reduce、短畳み込み、残差更新、attention-residual mix、RMSNorm)をhidden size 4,608から2,304へ一般化し、TP1を含む全TPサイズで使います。TP>1の小バッチではNVLink multicastでall-reduceも融合します。
  • SkyRLによる強化学習向け配信にも対応します。

試し方

Dockerイメージvllm/vllm-openai:inkling-2-miniを使います。Inkling 2 Mini(DSpark有効)の起動例:

docker run --gpus all --ipc=host -p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface vllm/vllm-openai:inkling-2-mini thinkingmachines/Inkling-2-Mini --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

研究用チェックポイントを2パス・KVキャッシュ共有で起動する例:

docker run --gpus all --ipc=host -p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface vllm/vllm-openai:inkling-2-mini thinkingmachines/TML-d24-varloop-research --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice --hf-overrides '{"text_config": {"loop_num_passes": 2, "loop_share_cache": true}}'

  • loop_num_passes:起動時に指定、最小1、既定3。少ないほど速く、多いほど品質が上がります。DSparkはドラフトが固定の層訪問位置を読むため既定の3パスが必要です。
  • loop_share_cache:コア各層の全パスで1つのKVキャッシュを共有し、後続トークンは最後のパスのKVを読みます。畳み込み状態はパスごとに保持します。
  • Inkling 2 Miniなど固定ループのチェックポイントでは両オプションとも拒否されます。

研究用チェックポイントの速度とキャッシュ容量

GB200 1基、TP1、4Kコンテキスト、順伝播のみでの測定です。

パス数 デコード1ステップ(バッチ1) 同(バッチ32) KVキャッシュ容量
1 1.51 ms 3.81 ms 352K tokens
2 2.67 ms 5.92 ms 233K tokens
3 3.85 ms 8.11 ms 175K tokens
3(KV共有) 3.86 ms 8.10 ms 194K tokens

KV共有は、パスごとの畳み込み状態キャッシュが残るため、パスを1つ減らすより空くメモリが少なくなります。

精度検証

vLLMは参照実装と同じデータ型、同じNVFP4/MXFP8活性量子化、FP32のメッセージ統合を保ち、違いはリダクション順のみです。固定プロンプトで48か所の層訪問における隠れ状態の差は、参照実装内のFlashAttention-4経路とPyTorch経路の差と同程度で、同一入力に対するMoE出力はビット単位で一致しました。DSpark有効の状態で、最大1M tokensのneedle-in-a-haystack、inkling-verifyを使ったMMMU-ProとHLE、GSM8Kでも精度を検証しています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内