vLLM、816B MoEのMuse Spark Openを公開初日から対応

vLLM Teamは2026年10月15日、Meta Superintelligence Labsのオープンウェイト疎MoEモデル「Muse Spark Open」(総816B、活性42B、1Mコンテキスト)をvLLMで公開初日からサポートしたと発表しました。NVIDIAとAMDでのサービング、初期TPU対応、DSparkによる投機的デコーディング、LoRA RLを同時に提供しています。vLLMは大規模言語モデルの推論とAPI配信のためのライブラリで、OpenAI互換APIからモデルを利用できます。

何が新しいか

Muse Spark Openは長期のエージェント型コーディング向けのモデルで、画像・動画・音声を入力として扱えます。MetaはBF16とNVFP4で重みを公開し、AMDがMXFP4重みを公開しました。並列化はNVIDIAとAMDの両方でTensor ParallelismとPipeline Parallelismに対応し、NVIDIAではEP、TEP、DEP、PD disaggregationも使えます。

アーキテクチャと数値

項目	値
テキストデコーダー層数	62(全層MoE、各層256 experts)
Vision Encoder	2B(Muse Glimmerと同じPerception Encoder)
オーディオエンコーダー	118M(24kHz波形、80msで1トークン)
アテンション	4層周期でSWA(2048トークン窓)3層+全体アテンション1層。計46層+16層
Latent MoE	pooler(8192×4096)で幅を半分にしてexpertsは4096で計算

ハイブリッドアテンションにより、1Mトークン時のKVキャッシュは全層フルアテンションの場合の約1/4強に収まります。動画の音声トラックは処理しないため、音声は別途抽出して同じリクエストで送ります。

DSparkとTPUでの速度

InferactはDSparkでスペキュレーターを訓練しました。DSparkはblock diffusionで1回に最大7個のドラフトトークンを提案する手法で、CUDAとROCmの両方で動作します。TPUではTorchTPU上で対応し、megakernelを用いた速度は次のとおりです。

構成	DSpark(受理長6)	投機的デコーディングなし
TPU v7 4チップ	650 tokens/sec超	270 tokens/sec超
TPU v7 8チップ	960 tokens/sec超	350 tokens/sec超

TPU向けコードの入手にはvLLMまたはGoogleへの問い合わせが必要です。

試し方

事前ビルドイメージはNVIDIA向けがvllm/vllm-openai:muse-spark-open、AMD向けがvllm/vllm-openai-rocm:muse-spark-openです。nightly PyPI wheelでの提供はPR #61879のレビュー・マージ後で、通常約1週間かかります。Rust frontendが推奨されており、export VLLM_USE_RUST_FRONTEND = 1を設定します。NVIDIA向けの起動例は次のとおりです。

vllm serve meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --tensor-parallel-size 8 --enable-expert-parallel --max-model-len 1048576 --reasoning-parser muse --tool-call-parser muse --enable-auto-tool-choice --speculative-config '{"method":"dspark","model": "Inferact/Muse-Spark-Open-DSpark","num_speculative_tokens":7,"draft_sample_method":"probabilistic","rejection_sample_method":"block","enable_adaptive_verification":true}'

リクエストはOpenAI互換の/v1/chat/completionsへ送り、マルチモーダル入力はcontent partsにimage_url、video_url、audio_urlを指定します。AMD Instinct MI355XではFP8とMXFP4に対応し、ROCmは現時点でTensor ParallelとPipeline Parallelをサポートします。NVIDIAはFlashInferとvLLMで融合カーネルや低レイテンシBF16 GEMMなどの最適化を加えました。

LoRA RL

vLLMはrolloutエンジンとして、Verl FSDP2をトレーナーにしたLoRA RLにも初日から対応します。vLLMはNVFP4チェックポイントにLoRAアダプターを載せて配信し、トレーナーはBF16に逆量子化した重みでアダプター(rank 32、alpha 64)のみを更新します。GRPOでDAPO-Math-17Kを150 steps、16基のGB300 GPUで訓練した結果、AIME-2024(mean@8)は訓練前の0.56から0.85に上がりました。