NVIDIAは、オープンな120BパラメータのマルチモーダルモデルNemotron 3.5 Super VLと、エッジ向けのNemotron 3.5 Bolt 74B-A9B 24GB、Nemotron 3.5 Bolt E4B 4GBをリリースしました。Super VLとBolt 74B-A9Bは現在利用可能で、Bolt E4Bは10月23日に提供を始めます。
3モデルの位置づけ
NVIDIAは、3モデルで大規模企業サーバーからエッジデバイス、ローカルハードウェアまでのエージェント展開をカバーするとしています。NemotronファミリーにはすでにLightning(8月公開、高スループット向け)とUltra(高難度の推論向け)があり、Boltはエッジを担います。
| モデル | 用途 | メモリ | 提供 |
|---|---|---|---|
| Nemotron 3.5 Super VL | 常時稼働の専門エージェント、マルチモーダル | — (120B) | 提供中 |
| Nemotron 3.5 Bolt 74B-A9B 24GB | ローカルのエージェント処理 | 24GB(ネイティブ2-bit量子化) | 提供中 |
| Nemotron 3.5 Bolt E4B 4GB | 音声アシスタント、対話キャラクター、組み込みUI | 4GB | 10月23日 |
Super VLの仕様と性能
Super VLはNemotron Coalitionと共同開発したモデルで、指示追従、ツール利用、複数段階の業務ワークフロー、視覚理解で、NVIDIA最大の推論モデルと同等の精度を約5分の1のパラメータ数で実現するとしています。Artificial Analysis Intelligence Indexでは同クラスの次善モデル比で最大5倍のスループットを示しました。画像、ウェブページ、PDFを理解し、OCR、表、グラフ、構造化情報を処理します。
| 項目 | 値 |
|---|---|
| 学習トークン数 | 約26兆(事前学習+継続事前学習) |
| ポストトレーニング | 約380万サンプル+数十の環境での強化学習 |
| NVIDIA Dynamo利用時 | 最大8倍のユーザー数、レイテンシー85%削減 |
NVIDIAはオープンウェイトに加え、オープンデータセット(エージェントのツール利用、金融、指示追従、長コンテキスト、公平性、視覚言語理解)と学習レシピをHugging Faceで、強化学習環境をNeMo Gymで公開します。Scale AI、Mercor、Atlassian、CrowdStrike、Perplexity、Salesforceなどが追加学習や統合を進めています。
Boltの特徴
Bolt 74B-A9B 24GBはネイティブ2-bit量子化で24GBのメモリに収まり、他のアプリと並行して動作します。NVIDIAによると、PinchBenchで同クラスのオープンモデル1位、BrowseCompで2位です。ウェブ調査、執筆、コードのデバッグといった作業をローカルのエージェントハーネスに任せられ、クラウドに処理を送らずに済みます。Bolt E4B 4GBはGeForce RTX、Jetson、RTX/DGX Sparkで動く対話・フィジカルエージェント向けです。
入手方法と対応環境
- Super VL: Hugging Face、Open Router、ModelScope community、NVIDIA NIMで提供。NIMは本番向けマイクロサービスとして2週間ごとにセキュリティパッチと性能改善を反映します。DGX Spark、DGX Station、RTX PRO、RTX、Jetson、データセンター・クラウドで動作します。カスタマイズはNVIDIA NeMo、Pythonベースのパイプライン、オープンデータセットで行え、ModelScopeのms-swiftでもファインチューニングできます。
- Bolt 74B-A9B 24GB: Hugging Faceで提供し、llama.cpp、Ollama、LM Studio、Unsloth、vLLMに対応します。10月16日登場のRTX SparkノートPC向けに設計され、GeForce RTX PC、DGX Spark、DGX Station、RTX PROワークステーションでも動作します。
DGX Sparkは、Grace Blackwellのチップと共有メモリを搭載した机上でAIモデルを実行するための小型コンピューターです。
まだコメントはありません。