NVIDIA、Nemotron 3.5 Super VLのNVFP4版を公開 120B/活性12B

NVIDIAは、総パラメータ120B・活性12Bの視覚言語モデル「NVIDIA Nemotron 3.5 Super VL」のNVFP4量子化版nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4をHugging Faceで公開しました。推奨デプロイ構成には1× DGX Sparkが含まれます。

NVFP4は、NVIDIAがBlackwell向けに導入したAI推論の量子化用低精度浮動小数点形式です。

何が新しいか

本モデルはBF16版(nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16)からの量子化認識蒸留とNVFP4(mixed-precision quantized weights)により、メモリ要件を削減しています。入力はテキスト・画像・動画、出力はテキストで、推論、コーディング、ツール利用、文書理解、動画理解を対象とします。アーキテクチャはMamba-2、MoE、Attention層を交互に組み合わせたハイブリッドに、C-RADIO視覚エンコーダーと視覚言語コネクターを加えた構成です。Multi-Token Prediction(MTP)によるネイティブな投機的デコーディングに対応し、コンテキスト長は最大1Mトークンです。ライセンスはOpenMDW-1.1で、商用・非商用で利用できます。

推奨構成と設定

項目	内容
推奨デプロイ	1× DGX Spark、1× RTX PRO 6000、1× H200、2× H100、1× GB200
テキスト推奨サンプリング	temperature 1.0、top_p 0.95
ビジョン推奨サンプリング	temperature 0.6、top_p 0.95
推論モード	chat templateのenable_thinking=True/False
推論レベル	off、on (medium)、on

on (medium)はonより生成トークン数を減らしますが、精度に影響する可能性があります。

試し方(DGX Spark向けvLLM)

Quick StartのvLLM設定はDGX Spark(GB10)専用で、同時シーケンス数1、ドラフトモデルLiLiCorrによる推測トークン数7で動かします。Dockerイメージはvllm/vllm-openai:nightly-3f1bcfd82bb2e93fcd364fc7a5491718453a77e2またはvllm/vllm-openai:v0.32.0を使います。認証が必要な場合は、コンテナ起動前にシェルでHF_TOKENを設定します。

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
export DRAFT_MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr

主なvllm serveオプションは次の通りです。

オプション	値
--served-model-name	nemotron-3.5-super-vl
--max-num-seqs	1
--gpu-memory-utilization	0.75
--max-num-batched-tokens	8192
--speculative_config.num_speculative_tokens	7
--speculative_config.method	dflash
--mamba-backend	flashinfer
--media-io-kwargs	動画 fps 2、num_frames 256
--tool-call-parser	qwen3_coder
--reasoning-parser	nemotron_v3

ほかに--trust-remote-code、--mamba-ssm-cache-dtype float16、--video-pruning-rate 0.5、--block-size 64、--enable-auto-tool-choiceなどを指定します。モデル読み込みとカーネルコンパイルの完了後、curl --fail http://localhost:8000/v1/modelsでエンドポイントを確認します。vLLMとSGLangの例はいずれもポート8000、APIモデル名nemotron-3.5-super-vlを使います。