NVIDIAは2026年10月15日、Nemotron-3.5-Super-VL-120B-A12B向けのLiLiCorr投機的デコーディング用チェックポイントnvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorrをHugging Faceで公開しました。学習済みパラメータは1.13B(うちLiLiCorrヘッド37M)で、これにターゲットのLMヘッドのNVFP4コピー0.54Bが加わります。
NVFP4は、NVIDIAがBlackwell向けに導入したAI推論の量子化用の低精度浮動小数点形式です。
何が新しいか
このチェックポイントは、DGX Sparkと低同時実行のデータセンターワークフロー向けにチューニングしたLiLiCorr投機的デコーディング用ドラフトモデルです。NVIDIAはModelOptライブラリで構築しました。ドラフトはターゲットモデルの表現を使ってトークンを起案し、別の2層構成のLiLiCorrヘッドが各ドラフトスロットでドラフターのtop-8候補を相関させます。手法の論文は「LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding」です。バージョンはv1.0 - LiLiCorr GAです。
アーキテクチャと仕様
ドラフターはDense GQA(Dense MLP + GQA Attention)構成です。
| 項目 | 値 |
|---|---|
| ドラフト内アテンション | 双方向GQA、クエリヘッド32、KVヘッド8 |
| スライディングウィンドウ | 直近8,192コンテキスト位置(全層) |
| 補助構造 | 各アテンション/MLPサブレイヤー周りのgrouped dynamic convolution |
| LiLiCorrヘッド | 2層、top-8候補を相関 |
| ターゲットの最大コンテキスト | 1M tokens |
| 提供構成のコンテキスト上限 | 114,688 tokens(入出力共有) |
ターゲットのNemotron-3.5-Super-VL-120B-A12Bは、推論、チャット、視覚理解、エージェントワークフロー向けのハイブリッドLatentMoEビジョン・ランゲージモデルで、JSON出力、推論出力、ツール呼び出しに対応します。対応言語には英語、フランス語、スペイン語、イタリア語、ドイツ語、日本語、ヒンディー語、韓国語、ブラジルポルトガル語、中国語が含まれます。
動かすための要件
- ランタイム: vLLM
- ハードウェア: NVIDIA Blackwell(DGX SparkのGB10を含む)、NVIDIA Hopper
- OS: Linux推奨
- 使い方: このドラフトチェックポイントをターゲットモデル(
nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16または-NVFP4)と一緒にロードし、LiLiCorr支援サービングを有効にします。サービングインターフェースはテキスト文字列を入力し、テキストシーケンスを出力します。
ライセンスはOpenMDW-1.1 model licenseで、商用・非商用の両方で利用できます。
まだコメントはありません。