Qwen3.8-27Bを3推論エンジンで比較

ローカル推論サーバ運用者が、生産コンテンツインテリジェンスパイプラインで利用するQwen3.8-27Bについて、NInfer、llama.cpp、vLLMの品質と速度を比較評価しました。評価では、6階層に各50項目を用い、シード値は42としています。

評価結果

Relevanceスコアは、llama.cppが86.0%、NInferが86.0%、vLLMが84.0%でした。

VRAM使用量は、llama.cppが31.6GB、NInferが30.5GB、vLLMが29.6GBでした。コンテキスト長は、llama.cppが196K、NInferが240K、vLLMが262Kでした。

適用条件

llama.cppでは、Q5_K_M GGUF量化、q8_0 KVキャッシュ、MTP有効、並列数1の条件を使用しました。vLLMでは、NVFP4量化とFP8 KVキャッシュを使用しました。