NVIDIA、34Bの音声モデルNemotron 3.5 TranscribeのGGUF版を公開

スペック

総パラメータ34B
活性パラメータ4.3B
ライセンスOpenMDW-1.1
重みの公開オープンウェイト
配布形式・量子化GGUF(デコーダー:NVFP4、IQ4_NL、共用エンコーダーファイル:F16音声エンコーダー、F32 CTCヘッド、オプションのDFlash2:BF16)
4bit量子化の目安メモリ約20.4GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

NVIDIAは、総パラメータ34B(活性4.3B)のオフライン音声・音響モデル「NVIDIA-Nemotron-3.5-Transcribe-30B-A4B」のGGUF版 nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF をHugging Faceで公開しました。NVFP4とIQ4_NLの2種類のデコーダーと、両者で共用するエンコーダーを配布しています。

何ができるモデルか

Nemotron 3.5 Transcribeは、録音とテキスト指示、任意のコンテキストを入力として受け取り、テキストで応答するモデルです。40言語の文字起こし、音声翻訳、文脈を考慮した文字起こし、話者ラベルや単語単位のタイムスタンプ付き出力、音声に関する質問応答をオフラインで実行でき、最長1時間の録音に対応します。アーキテクチャはMamba-2–TransformerハイブリッドのMoE言語モデルにParallel Expert Encoderを組み合わせた構成です。ライセンスはOpenMDW-1.1で、商用・非商用の利用に対応します。

配布ファイルと精度構成

ファイル サイズ 用途
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4.gguf 21.2 GiB Blackwell GPU向けデコーダー
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-IQ4_NL.gguf 19.0 GiB Ampere/Ada/Hopper GPUおよびCPU向けデコーダー
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf 1.6 GiB 音声エンコーダー(話者ブランチ含む)とCTCタイムスタンプヘッド(必須)
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-DFlash2-BF16.gguf 1.1 GiB 高速デコード用のオプションのDFlash2ドラフトモデル

NVFP4デコーダーはエキスパートとattentionをNVFP4、Mambaの線形層をFP8、MTPヘッド・埋め込み・出力ヘッドをBF16で保持します。IQ4_NLデコーダーはルーティングされるエキスパートをIQ4_NL、attention・Mamba・共有エキスパートの線形層をQ8_0、埋め込みと出力ヘッドをBF16としています。エンコーダーファイルは音声エンコーダーがF16、CTCタイムスタンプヘッドがF32です。NVFP4デコーダーはNVFP4チェックポイントのリビジョン 66c6adc から、IQ4_NLデコーダーとエンコーダーはベースモデルのリビジョン 16ec754 から変換されています。

動作要件と試し方

  • ランタイム: ネイティブC++ランタイムのNeMo-Speech.cpp(Linux、Windows)
  • NVFP4デコーダー: メモリ32 GB以上のNVIDIA Blackwell GPU
  • IQ4_NLデコーダー: メモリ24 GB以上のその他のNVIDIA GPU(Ampere、Ada、Hopper)、またはCPU

ハードウェアに合うデコーダーを1つ選び、NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf と同じディレクトリに置きます。デコーダーが参照するエンコーダーファイル名を指定しており、NeMo-Speech.cppはそのディレクトリからエンコーダーを読み込みます。ネイティブのMulti-Token Prediction(MTP)による投機的デコードは既定で有効で、さらにDFlash2ドラフトモデルを追加して高速化することもできます。

なお、ベースモデルカードに掲載されたベンチマーク結果はBF16モデルで測定されたもので、GGUF版の結果ではありません。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内