NVIDIAは、総パラメータ34B(活性4.3B)のオフライン音声・音響モデル「NVIDIA-Nemotron-3.5-Transcribe-30B-A4B」のGGUF版 nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF をHugging Faceで公開しました。NVFP4とIQ4_NLの2種類のデコーダーと、両者で共用するエンコーダーを配布しています。
何ができるモデルか
Nemotron 3.5 Transcribeは、録音とテキスト指示、任意のコンテキストを入力として受け取り、テキストで応答するモデルです。40言語の文字起こし、音声翻訳、文脈を考慮した文字起こし、話者ラベルや単語単位のタイムスタンプ付き出力、音声に関する質問応答をオフラインで実行でき、最長1時間の録音に対応します。アーキテクチャはMamba-2–TransformerハイブリッドのMoE言語モデルにParallel Expert Encoderを組み合わせた構成です。ライセンスはOpenMDW-1.1で、商用・非商用の利用に対応します。
配布ファイルと精度構成
| ファイル | サイズ | 用途 |
|---|---|---|
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4.gguf |
21.2 GiB | Blackwell GPU向けデコーダー |
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-IQ4_NL.gguf |
19.0 GiB | Ampere/Ada/Hopper GPUおよびCPU向けデコーダー |
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf |
1.6 GiB | 音声エンコーダー(話者ブランチ含む)とCTCタイムスタンプヘッド(必須) |
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-DFlash2-BF16.gguf |
1.1 GiB | 高速デコード用のオプションのDFlash2ドラフトモデル |
NVFP4デコーダーはエキスパートとattentionをNVFP4、Mambaの線形層をFP8、MTPヘッド・埋め込み・出力ヘッドをBF16で保持します。IQ4_NLデコーダーはルーティングされるエキスパートをIQ4_NL、attention・Mamba・共有エキスパートの線形層をQ8_0、埋め込みと出力ヘッドをBF16としています。エンコーダーファイルは音声エンコーダーがF16、CTCタイムスタンプヘッドがF32です。NVFP4デコーダーはNVFP4チェックポイントのリビジョン 66c6adc から、IQ4_NLデコーダーとエンコーダーはベースモデルのリビジョン 16ec754 から変換されています。
動作要件と試し方
- ランタイム: ネイティブC++ランタイムのNeMo-Speech.cpp(Linux、Windows)
- NVFP4デコーダー: メモリ32 GB以上のNVIDIA Blackwell GPU
- IQ4_NLデコーダー: メモリ24 GB以上のその他のNVIDIA GPU(Ampere、Ada、Hopper)、またはCPU
ハードウェアに合うデコーダーを1つ選び、NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf と同じディレクトリに置きます。デコーダーが参照するエンコーダーファイル名を指定しており、NeMo-Speech.cppはそのディレクトリからエンコーダーを読み込みます。ネイティブのMulti-Token Prediction(MTP)による投機的デコードは既定で有効で、さらにDFlash2ドラフトモデルを追加して高速化することもできます。
なお、ベースモデルカードに掲載されたベンチマーク結果はBF16モデルで測定されたもので、GGUF版の結果ではありません。

まだコメントはありません。