NVIDIA、24GBで動く視覚言語モデルNemotron 3.5 Bolt 74B-A9Bを公開

NVIDIAは2026年10月15日、Hugging Faceで視覚言語モデル NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF を公開しました。総パラメータ74B・活性9Bのモデルを、量子化認識学習によるネイティブ2-bit量子化(IQ2)で24GBメモリに収めています。

何が新しいか

NVIDIAはこのモデルを、日常的なエージェントタスクをローカルで実行し、他のアプリケーションと同時に動かせるよう設計したと説明しています。アーキテクチャはMamba-2–TransformerハイブリッドのLatentMoEで、視覚エンコーダにC-RADIO v4-Hを採用しています。入力はテキスト・画像・動画、出力はテキストで、コンテキスト長は最大256K tokensです。用途はツール呼び出し、ウェブ閲覧、ターミナル利用を伴うエージェントハーネス向けに最適化しています。主要言語は英語とプログラミング言語で、日本語、スペイン語、フランス語、ドイツ語、イタリア語にも対応します。推論モードはチャットテンプレートの enable_thinking=True/False で切り替えます。NVIDIAは、同程度のメモリ使用量の主要denseモデルより速く、主要MoEモデルより賢いことを目標に掲げています。

ベンチマーク

原文は比較対象としてQwen3.6-35B-A3B BF16、Gemma4 26B-A4B-BF16、Nemotron 3.5 Lightning 30B-A3B-BF16を並べています。

ベンチマーク	Qwen3.6-35B-A3B	Gemma4 26B-A4B	Nemotron 3.5 Lightning	Bolt 74B-A9B (IQ2)
GDPVal-AA-V2	25.75	15.33	18.26	28.47
Terminal-Bench 2.1	44.38	37.22	23.46	50.98
Tau3 Banking	10.52	14.02	9.48	17.01
HLE (no tools)	19.56	17.42	10.47	25.30
AA-Omniscience accuracy	19.47	22.17	16.63	16.90
SciCode	35.33	40.28	31.38	41.02
GPQA Diamond	83.40	79.61	75.57	86.43
AA-LCR	61.06	57.56	49.19	64.06
BrowseComp	48.74	26.30	36.81	66.75
WebArena (vision)	36.60	38.2	—	50.86

AA-Omniscience accuracyではGemma4が、PinchBench(Qwen 88.07に対しBolt 87.82)ではQwenが上回っています。MCP-AtlasのQwenの値51.2は、NVIDIAが公開500タスクで測定したもので、Qwen側の公表値は62.8です。

動作環境と試し方

推論エンジンはllama.cppで、対応ハードウェアはRTX/DGX Spark(64GB / 128GB)とRTXディスクリートGPU(32GB+ / 48GB+)です。原文は28GBと32GBの2種類のレシピを用意しています。推測的デコーディングはDFlashと別個のGGUF drafter(LiLiCorr)を使い、32GBレシピで最大7、28GBレシピで最大6 draft tokensに対応します。

手順は、Hugging Faceから本体 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf、mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf、別リポジトリ nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF の NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf を hf download で取得し、llama-server を起動します。Quick Startの主な指定は次の通りです。

• --model / --mmproj / --spec-draft-model にそれぞれのGGUFを指定
• --ctx-size 98304、--batch-size 2048、--ubatch-size 512、--parallel 1、-ngl 999
• --spec-type draft-dflash、--spec-draft-n-max 6、--spec-draft-ngl 999
• --cache-type-k q8_0、--cache-type-v q8_0、--flash-attn on、--jinja
• 推奨サンプリング --temp 1.0、--top-p 0.95

ライセンス

ライセンスはOpenMDW-1.1で、商用・非商用の双方で利用できます。ベースモデルは nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 で、事後学習データのカットオフは2026年5月です。