NVFP4

NVIDIAがBlackwell向けに導入した、AI推論の量子化に使う低精度の浮動小数点形式。小さな値のブロックとテンソル全体にそれぞれスケールを持たせ、表現範囲と量子化誤差を調整する。BlackwellのTensorコアが、この形式のデータ処理を支援する。

公式サイト

関連記事

関連ヘッドライン(過去7日)