2x DGX SparkでGLMとDeepSeekのHumanEval比較

今週、GLM-5.3 FlashとQwen 3.8 Flashのリリース後に、2x DGX Sparkのローカル環境でDeepSeek-V4-Flash-0731とGLM-5.3-FlashのHumanEvalベンチマークが実施されました。GLM-5.3-Flash NVFP4は、Thinking有効の条件でHumanEvalおよびHumanEval+のスコア、総実行時間でDeepSeek-V4-Flash-0731を上回りました。

ベンチマーク結果

GLM-5.3-Flash NVFP4は、Thinking高の条件でHumanEval Pass@1（Base）が97.0%、HumanEval+（Adversarial Edge Cases）が92.1%でした。HumanEval+の問題数は164問で、総ベンチマーク実行時間は20分52秒でした。

同じくThinking高のDeepSeek-V4-Flash-0731は、HumanEval Pass@1（Base）が94.5%、HumanEval+が88.4%でした。総ベンチマーク実行時間は38分16秒でした。両モデルのHumanEval+は164問で実行されています。

GLM-5.3-Flash NVFP4では、Thinkingを無効にしたDirect Zero-Shot条件のHumanEval Pass@1（Base）は93.3%でした。

推論条件と速度

DeepSeek-V4-Flash-0731は、fp8 KV、1Mコンテキスト、4並行ストリームの条件で実行されました。Thinking高のローカルストリーム速度は、MTP-5使用時で70 tok/sでした。

GLM-5.3-Flashは、NVFP4量子化、DFlash2ドラフター、fp8_e4m3 KV、256kコンテキスト、6Cの条件で実行されました。Thinking高のローカルストリーム速度は、DFlash2使用時で50 tok/sでした。

レシピとモデル提供者

DeepSeek-V4-Flash-0731のレシピはeugrが提供し、公式チェックポイントはdeepseek-aiが提供しています。GLM-5.3-Flashのレシピはtonyd2wildが提供しています。GLM-5.3-Flash-NVFP4量子化モデルはLibertAIDAIが、GLM-5.3-Flash-DFlash2ドラフターはincoaiが提供しています。