NVIDIA、Nemotron-3.5-Bolt-74B向け1.1BドラフトLiLiCorrを公開

NVIDIAは2026年10月15日、Hugging Faceで投機的デコーディング用チェックポイントnvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorrを公開しました。パラメータ数1.113Bのドラフトで、74B総パラメータ・9B活性のターゲットNVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GBとペアで動かします。

何が新しいか

このチェックポイントは単独で動く言語モデルではありません。LiLiCorrはターゲットモデルの表現を使ってドラフトトークン候補を提案し、24GB版ターゲットがそれを検証します。ユーザーに見えるテキストはターゲットが生成します。ターゲットはハイブリッドLatentMoEのvision-languageモデルで、推論、チャット、検索拡張生成、視覚理解、エージェントワークフローに対応し、JSON出力、chain-of-thoughtの推論出力、ツール呼び出しをサポートします。対応言語は日本語を含む10言語です。

アーキテクチャ

項目	内容
ドラフト構成	Dense GQA(Dense MLP + GQA Attention)、5層
ドラフトのパラメータ	1.113B(共有ターゲット埋め込みとLMヘッドを除く)
LiLiCorrヘッド	2層、37M。各ドラフトスロットの上位8候補を相関
アテンション	ドラフトブロック内で双方向、ヘッドごとに1024トークンのスライディングウィンドウとattention sinks
量子化	NVIDIA Model Optimizer @ b5f10f8でNVFP4重み
ターゲットのコンテキスト長	256Kトークン

各アテンションとMLPサブレイヤーの周囲にはgrouped dynamic convolutionを配置しています。学習データは既存データセットのプロンプトと会話文脈だけを使い、応答はすべてNemotron-3.5-Boltがtemperature 1.0で生成したものです。ドラフトはまずポストトレーニング途中のチェックポイントの応答で学習し、その後リリース版の応答でファインチューニングしました。

動作要件と利用条件

• ランタイム: vLLM
• ハードウェア: NVIDIA Blackwell、SM 120のみ(DGX Spark(GB10)を含む)
• OS: Linux推奨
• ライセンス: OpenMDW-1.1 model license。商用・非商用ともに利用可能

DGX SparkはGrace Blackwellチップと共有メモリを搭載した、NVIDIAの机上向け小型AIコンピューターです。