vLLM、Vera Rubin NVL72でDeepSeek-V4.1-FlashをGB300比58倍に

InferactとvLLMチームは2026年11月12日、NVIDIA Vera Rubin NVL72ラック1台でvLLMによりDeepSeek-V4.1-Flashを提供し、SemiAnalysis AgentXでユーザーあたりP90 387 tokens/sを保ちながらGPUあたり1.7M tokens/sを出したと発表しました。同じインタラクティビティでGB300 NVL72の58倍にあたります。

vLLMは大規模言語モデルの推論とAPI配信のためのライブラリです。今回の記事はDeepSeek-V4.1-Flashシリーズの3本目で、2本目でGB300 NVL72に載せたP/D disaggregationとWide-EPのスタックをVera Rubin NVL72へ移しています。

主な数値

項目	値	条件
GPUあたりスループット	1.7M tokens/s	ユーザーあたりP90 387 tokens/s
GB300 NVL72比	58×	同じインタラクティビティ
ピークスループット	2.52M tokens/s	—
単一ユーザー	1,810 tokens/s(P90)	batch size 1、TP8で2トレイに分散
DEP2 prefillステップ	約28%短縮	32K tokens/rank
DEP decodeステップ	約25%短縮	DEP32、20 requests × 6 tokens per rank、DSpark k=5、4-GPUノード1台でシミュレーション
prefix hit rate	96.5–97%	高並列時

スループットはcached input、uncached input、output tokensを合算した値です。

最適化の中身

チームはRubinの3つの特性を軸にしました。GPUごとに2つのメモリドメインがあること、SM107がより幅の広いblock-scaled MMA命令を持つこと、72 GPUが1つのNVLinkドメインを共有することです。

• カーネル: MoE、attention、GEMM、mHC、indexerカーネルをRubin向けに作り直しました。帯域律速のデータを各SMのメモリドメインに置き、FP8×FP4のK64 MMAをMegaMoEと低遅延routed GEMMに適用しています。MegaMoEは8K+ tokens/rankで8–11%、低batch sizeのrouted GEMMは12%高速化しました。indexerのdecode MQA-logitsカーネルはK128 FP4 MMAと6トークンのquery tileにより15–22%高速化しています。
• prefill: Mega-mHCで残差をdie-localに保持し、MegaAttnのパイプラインを改善しました。MegaGateはtop 6に入り得るexpertだけを評価し、384中約7個に絞ります。MegaMoEのタイルサイズを忙しいrankに合わせた変更では、40ステップのリプレイでMegaMoE時間が55%減りました。
• decode: expert重みのdie-local化、トークンあたり1回のNVLinkラウンドトリップでのWide-EP dispatch(DEP8でMegaMoEが192→160 µs)、SM107クラスタ上のsplit-K GEMM(10–38%高速化)などを組み合わせています。
• 低遅延パス: オペレータ横断のfusionと計算・通信のオーバーラップを施し、TP8で2つのトレイにモデルを分散しました。NVLinkドメインの共有により、all-reduceの追加コストはほとんどかかりません。

構成要件

• vLLMでDeepSeek-V4.1-FlashをVera Rubin NVL72上にサービングし、P/D disaggregationとWide-EPを使います。
• エンジン構成はGB300時代と同じDEP2 prefill、Wide-EP decode(DEP16またはDEP32)、TP decodeパスの3種です。
• ラック全体のメモリをプールします。Mooncake KV poolをDRAMから余剰HBMまで拡張し、Engram tablesをGPU HBM間でシャーディングします。そのうえでDynamoのworkload-aware routingを使います。
• 計測では、vllm bench forwardで実際のexecute_modelパスを通し、実重みと実AgentXトークンでprefill/decodeバッチの時間を測っています。