NVIDIAはHugging Faceで、Qwen3.8-Flash-Nextをベースにした実験的な混合精度QADチェックポイントnvidia/Qwen3.8-Flash-Next-NVFP4-QADを公開しました。100回のオプティマイザー更新後にエクスポートしたもので、重みファイルは約129.7 GB(120.8 GiB)です。
NVFP4はNVIDIAがBlackwell向けに導入した推論量子化用の低精度浮動小数点形式で、QwenはAlibaba Cloudが開発するLLMファミリーです。
何が新しいか
このチェックポイントは、既存のQwen3.8-Flash-Next-NVFP4より積極的な量子化レシピを採用しています。ルーテッドエキスパートに加えて共有エキスパートもNVFP4に、選択したGDN・QSA・indexer投影をMXFP8に量子化しています。リポジトリ名の-QADは訓練手法を示すもので、元のNVFP4レシピをそのまま保ったことを意味しません。凍結した視覚エンコーダー、PLE n-gram embedding、MTPモジュールを含む完全なマルチモーダルモデルですが、QADではMTPの追加量子化・学習は行っていません。量子化とエクスポートにはNVIDIA Model OptimizerとNeMo AutoModel(FSDP2)を使っています。
| コンポーネント | 保存精度 | QAD |
|---|---|---|
| メインLM ルーテッドエキスパート(48 MoEグループ) | NVFP4、ブロック16 | 学習 |
| メインLM 共有エキスパート(144行列) | NVFP4、ブロック16 | 学習 |
| GDN投影(180行列) | MXFP8、ブロック32 | 学習 |
| QSA q/k/v/o投影(48行列) | MXFP8、ブロック32 | 学習 |
| QSA indexer投影(12行列) | MXFP8、ブロック32 | 凍結 |
| PLE n-gram embedding | テンソル単位FP8 E4M3、BF16スケール | 凍結 |
| MTP ルーテッドエキスパート | FP8 E4M3、128x128ブロック | 凍結 |
| MTP 共有エキスパート・attention | BF16 | 凍結 |
| 視覚エンコーダー、router等 | 元の精度 | 凍結 |
訓練と検証の数値
生徒モデルはfake-quantized計算、教師は凍結したBF16モデルで、テキスト入力のみで訓練しています。
| 項目 | 値 |
|---|---|
| オプティマイザー更新 | 100 |
| 最大シーケンス長 | 16,384 tokens |
| グローバルバッチ | 512 sequences |
| 消費例数 | 51,200 |
| FSDP2ワールドサイズ | 64 |
| 学習率(ピーク/最小) | 1e-5 / 1e-6 |
エクスポート検証では入力長256〜16,384の28,924位置で、平均絶対対数確率誤差1.21e-6、最大誤差1.00e-5、Top-1一致率99.25%でした。これはエクスポート前後の一致を示すもので、BF16モデルの精度との一致ではありません。
社内評価(PTQ比)
| ベンチマーク | 積極的PTQ | QAD 100更新 |
|---|---|---|
| GPQA-Diamond | 91.35 | 91.60 |
| IFBench | 79.60 | 79.93 |
| SciCode サブタスク | 49.48 | 51.11 |
| AA-LCR | 77.63 | 77.13 |
| MMMU-Pro | 76.65 | 77.34 |
| Terminal-Bench 2.1 native pass@1(qualified) | 85.39 | 85.96 |
評価はMTP無効、KVキャッシュBF16です。Terminal-Bench 2.1はランタイム失敗をゼロスコアとして保持しており、PTQが13/712、QADが4/712です。差のブートストラップ95%区間はSciCodeで[-0.66, +3.97]、Terminal-Benchで[-1.97, +3.09]ポイントで、NVIDIAはPTQに対するタスク精度改善を統計的に確立したとは主張していません。
動作要件
- 検証済み構成: NVIDIA GB300、ネイティブBlackwellカーネル、vLLM 0.30.0、4-way tensor parallelism、expert parallelism
- メインモデルはネイティブNVFP4・MXFP8計算を使用
- 推論用チェックポイントで、オプティマイザー状態は含まない
- 量子化メタデータは
hf_quant_config.json、config.json、quantization_recipe.jsonに収録 - 重みシャードは配布用に統合済み(SHA256照合と全読み戻しを実施)
- ライセンスはother

まだコメントはありません。