NVIDIA、MoE採用の「Nemotron 3.5 Super VL」を紹介 総120B・活性12B

スペック

総パラメータ120B
活性パラメータ12B
重みの公開オープン
4bit量子化の目安メモリ約72GB(96GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

NVIDIAは、専門的なワークフロー向けのオープンでカスタマイズ可能なマルチモーダルモデル「NVIDIA Nemotron 3.5 Super VL」をNVIDIA Technical Blogで紹介しました。総パラメータ数120BのMoEアーキテクチャで、活性化するパラメータは12Bです。

NVIDIAはGPUを含むチップ、コンピューターシステム、ソフトウェアを開発する企業で、AI向けの計算基盤とサービスを提供しています。

何が新しいか

Nemotron 3.5 Super VLは、マルチモーダル推論によって専門特化型のエージェントを動かすことを狙ったモデルです。NVIDIAはこのモデルをオープンかつカスタマイズ可能なモデルとして位置づけています。

仕様

アーキテクチャはmixture-of-experts(MoE)で、総パラメータ120Bのうち12Bを活性化します。重みはオープンです。

想定用途と背景

NVIDIAは、常時稼働するエージェントが、より長く複雑な企業ワークフローを担うようになっていると説明しています。1件のリクエストに、文書の読み取り、複数ソースにまたがる情報の確認、社内ポリシーへの従属、複数ツールの呼び出しが含まれる場合があり、Nemotron 3.5 Super VLはこうした専門的なワークフローを対象にしたモデルです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内