NVIDIA、Qwen3.8-27BのNVFP4量子化版をQADで公開

スペック

総パラメータ27B
コンテキスト長最大262,144 tokens
ライセンスNVIDIA Open Model Agreement(ベースモデルQwen3.8-27BはApache 2.0 License)
重みの公開Hugging Faceで公開
4bit量子化の目安メモリ約16.2GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

NVIDIAは2026年11月4日、AlibabaのQwen3.8-27BをNVFP4形式へ量子化したnvidia/Qwen3.8-27B-NVFP4-QADをHugging Faceで公開しました。量子化にはNVIDIA Model Optimizerによる量子化認識蒸留(QAD)を使い、vLLMでそのまま推論できる形で提供しています。

NVFP4は、NVIDIAがBlackwell向けに導入したAI推論用の低精度浮動小数点形式で、BlackwellのTensorコアがこの形式の処理を支援します。

何が新しいか

このモデルはQwen3.8-27BをNVFP4へQADで変換した事前量子化済みモデルです。モデルバージョンはNVFP4 QAD 1.0、量子化に使ったツールはNVIDIA-ModelOpt v0.48.0です。NVIDIAは用途として、AIエージェント、チャットボット、RAGシステムなどへの導入を挙げています。

仕様と学習データ

ネットワーク構成はQwen3.8-27B(Qwen3_5ForConditionalGeneration)で、総パラメータ数は27Bです。入力はテキスト・画像(RGB)・動画(MP4/WebM)、出力はテキストに対応します。コンテキスト長は最大262,144 tokensで、最大補完長も262,144 tokensまで設定できます。

項目 内容
QADの学習データ Nemotron-Cascade-2-SFT-Data(テキスト、1.26B tokens)
キャリブレーションデータ Nemotron-Post-Training-Dataset-v3
評価ベンチマーク GPQA Diamond、IFBench、MMMU Pro、SciCode、Terminal-Bench 2.1、AA-LCR
テストハードウェア NVIDIA Blackwell GB300

学習データは、数学、科学、チャット、指示追従、安全性、会話エージェント、ソフトウェアエンジニアリング、ターミナルエージェントの各タスクにわたる英語のマルチターン会話です。

動作要件と利用条件

  • 取得: Hugging FaceのモデルID nvidia/Qwen3.8-27B-NVFP4-QAD
  • ランタイム・推論エンジン: vLLM
  • 対応GPU: NVIDIA Blackwell
  • 対応OS: Linux
  • ライセンス: NVIDIA Open Model Agreement(ベースモデルのQwen3.8-27BはApache 2.0 License)。商用・非商用の両方で利用でき、展開地域はGlobalです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内