ツール・開発
NVFP4
NVIDIAがBlackwell向けに導入した、AI推論の量子化に使う低精度の浮動小数点形式。小さな値のブロックとテンソル全体にそれぞれスケールを持たせ、表現範囲と量子化誤差を調整する。BlackwellのTensorコアが、この形式のデータ処理を支援する。
関連記事
ツール・開発
vLLM、Inkling 2 Smallを初日サポート GB200で630 tok/s
モデル
NVIDIA、Kimi-K3.1-ProのNVFP4量子化版をHugging Faceで公開
ローカルLLM
Video-Rebirth、MiniMax-H3を13.7Bに圧縮したHyperFlow H3 Flashを公開
ツール・開発
vLLM、Kimi K3.1 Proを初日対応 GB300でTTFT最大1.69倍
ローカルLLM
llama.cpp v0.9.0、FP8 E4M3量子化と4つの新アーキテクチャに対応
ローカルLLM
Unsloth、Mistral Large 4(1T-A52B)のNVFP4版を公開
ローカルLLM
Unsloth、1兆パラメータのMistral Large 4を公開 1-bit版は233GB
ツール・開発
vLLM、1兆パラメータのMistral Large 4をDay-0でサポート
ハードウェア
NVIDIA、RTX Sparkノート6社から発売 128GB統合メモリで2,599ドルから
モデル
NVIDIA、40言語対応の音声モデルNemotron 3.5 Transcribeを公開
モデル
NVIDIA、Nemotron 3.5 Super VLのNVFP4版を公開 120B/活性12B
ローカルLLM
mlx-community、MiniMax-M3.1-FlashのoQ3e版を公開 平均3.631bit
ツール・開発
vLLM、MiniMax-M3.1-FlashをDay-0対応 GB300で418.9tok/s
ツール・開発
InferactとGoogle、TPU向けvLLMバックエンド「vllm-torchtpu」を公開
ツール・開発
vLLM、Beam-1.0を初日対応 デコード2.71倍とDFlash2で708 tok/s
モデル
Reflection、501B MoEのオープンモデル「Beam」をApache 2.0で公開
ツール・開発
vLLM、816B MoEのMuse Spark Openを公開初日から対応
モデル
Transformers v5.20.0、Metaの816B「Muse Spark Open」など7モデルに対応
ローカルLLM
Apple、MLXで816BのMuse Spark Openを4台のMac Studioで36 tok/s超
ローカルLLM
NVIDIA、Nemotron-3.5-Bolt-74B向け1.1BドラフトLiLiCorrを公開
モデル
Black Forest Labs、FLUX.3 Image KleinをDiffusersで初日対応
ローカルLLM
NVIDIA、Nemotron-3.5-Super-VL向けLiLiCorrドラフト1.13Bを公開
ツール・開発
vLLM、DeepSeek-V4.1-Flashのスループットを3週間で最大5.3倍に
ハードウェア
NVIDIAとMicrosoft、128GB統合メモリのRTX Spark搭載Windows機を発表
ローカルLLM
llama.cpp v0.6.0公開、拡張バッチAPIと320BのGLM-5.3-Flash対応
モデル
NVIDIA、GLM-5.3-FlashのNVFP4量子化版をBlackwell向けに公開
モデル
NVIDIA、GLM-5.3をNVFP4量子化した753Bモデルを公開
モデル
NVIDIA、DeepSeek-V4.1-FlashのNVFP4量子化版を公開 552Bで1Mコンテキスト
モデル
NVIDIA、DeepSeek-V4-Pro-0813のDSparkドラフトヘッドもNVFP4化した1.65Tモデルを公開
ローカルLLM
Qwen3.8-27Bを3推論エンジンで比較
研究
2x DGX SparkでGLMとDeepSeekのHumanEval比較
ローカルLLM
SGLang-V100がQwen3.8-Flash-Nextに対応
関連ヘッドライン(過去7日)
- モデル
NVIDIA、Dory1.0-4B-NVFP4を公開NVIDIA (HF)
- モデル
nvidia/Kimi-K3.1-Pro-NVFP4を公開、Kimi-K3.1-Proの量子化版NVIDIA (HF)記事
