NVIDIA、Qwen3.8-Flash-NextのNVFP4混合精度QAD版を129.7GBで公開

スペック

ライセンスother
重みの公開チェックポイントの重みを公開

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

NVIDIAはHugging Faceで、Qwen3.8-Flash-Nextをベースにした実験的な混合精度QADチェックポイントnvidia/Qwen3.8-Flash-Next-NVFP4-QADを公開しました。100回のオプティマイザー更新後にエクスポートしたもので、重みファイルは約129.7 GB(120.8 GiB)です。

NVFP4はNVIDIAがBlackwell向けに導入した推論量子化用の低精度浮動小数点形式で、QwenはAlibaba Cloudが開発するLLMファミリーです。

何が新しいか

このチェックポイントは、既存のQwen3.8-Flash-Next-NVFP4より積極的な量子化レシピを採用しています。ルーテッドエキスパートに加えて共有エキスパートもNVFP4に、選択したGDN・QSA・indexer投影をMXFP8に量子化しています。リポジトリ名の-QADは訓練手法を示すもので、元のNVFP4レシピをそのまま保ったことを意味しません。凍結した視覚エンコーダー、PLE n-gram embedding、MTPモジュールを含む完全なマルチモーダルモデルですが、QADではMTPの追加量子化・学習は行っていません。量子化とエクスポートにはNVIDIA Model OptimizerとNeMo AutoModel(FSDP2)を使っています。

コンポーネント 保存精度 QAD
メインLM ルーテッドエキスパート(48 MoEグループ) NVFP4、ブロック16 学習
メインLM 共有エキスパート(144行列) NVFP4、ブロック16 学習
GDN投影(180行列) MXFP8、ブロック32 学習
QSA q/k/v/o投影(48行列) MXFP8、ブロック32 学習
QSA indexer投影(12行列) MXFP8、ブロック32 凍結
PLE n-gram embedding テンソル単位FP8 E4M3、BF16スケール 凍結
MTP ルーテッドエキスパート FP8 E4M3、128x128ブロック 凍結
MTP 共有エキスパート・attention BF16 凍結
視覚エンコーダー、router等 元の精度 凍結

訓練と検証の数値

生徒モデルはfake-quantized計算、教師は凍結したBF16モデルで、テキスト入力のみで訓練しています。

項目 値
オプティマイザー更新 100
最大シーケンス長 16,384 tokens
グローバルバッチ 512 sequences
消費例数 51,200
FSDP2ワールドサイズ 64
学習率(ピーク/最小) 1e-5 / 1e-6

エクスポート検証では入力長256〜16,384の28,924位置で、平均絶対対数確率誤差1.21e-6、最大誤差1.00e-5、Top-1一致率99.25%でした。これはエクスポート前後の一致を示すもので、BF16モデルの精度との一致ではありません。

社内評価(PTQ比)

ベンチマーク 積極的PTQ QAD 100更新
GPQA-Diamond 91.35 91.60
IFBench 79.60 79.93
SciCode サブタスク 49.48 51.11
AA-LCR 77.63 77.13
MMMU-Pro 76.65 77.34
Terminal-Bench 2.1 native pass@1(qualified) 85.39 85.96

評価はMTP無効、KVキャッシュBF16です。Terminal-Bench 2.1はランタイム失敗をゼロスコアとして保持しており、PTQが13/712、QADが4/712です。差のブートストラップ95%区間はSciCodeで[-0.66, +3.97]、Terminal-Benchで[-1.97, +3.09]ポイントで、NVIDIAはPTQに対するタスク精度改善を統計的に確立したとは主張していません。

動作要件

  • 検証済み構成: NVIDIA GB300、ネイティブBlackwellカーネル、vLLM 0.30.0、4-way tensor parallelism、expert parallelism
  • メインモデルはネイティブNVFP4・MXFP8計算を使用
  • 推論用チェックポイントで、オプティマイザー状態は含まない
  • 量子化メタデータはhf_quant_config.json、config.json、quantization_recipe.jsonに収録
  • 重みシャードは配布用に統合済み(SHA256照合と全読み戻しを実施)
  • ライセンスはother

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内