llama.cppでQwen3.8-Flash-Nextを性能検証

llama.cpp上で、Qwen3.8-Flash-Next（unsloth/Qwen3.8-Flash-Next-GGUF）の性能テストが実施されました。CPUのみからNVIDIA RTX PRO 6000 Blackwellの96GB VRAM使用時まで、プロンプト長やコンテキスト長などの条件別にデコード速度が測定されています。

テスト環境と条件

環境はUbuntu、AMD Ryzen 9 9950X、システムRAM 96GB DDR5、NVIDIA RTX PRO 6000 Blackwell（96GB）で、CUDA 13が使用されています。エンジンはllama.cppのバージョンb10666、リビジョン4e97ac86eです。量子化形式はUD-IQ4_XSで、モデルサイズは87.2 GiBです。

2,048トークンのテストでは、CPUのみの場合のデコード速度が8.34 tok/sでした。96GB VRAMを使用した場合は109.07 tok/sとなり、CPUのみの場合から速度が向上しました。

245Kコンテキストのテストでは、24GB VRAM使用時が14.89 tok/s、96GB VRAM使用時が21.61 tok/sでした。96GB VRAMの優位性は、2Kコンテキスト時の2.80倍から、245Kコンテキスト時の1.45倍に低下しました。

メモリ配置に関する測定

PLEテーブルのサイズは27.2 GiBでした。PLEテーブルを強制的にCUDAへ配置した場合、デコード速度は108.5 tok/sから1.95 tok/sへ低下しました。

モデルをRAM常駐でロードした場合のprefillは、mmap使用時の1.87倍に増加しました。また、並行度16での非統一KVの総出力速度は92.0 tok/sでした。

なお、テスト実施日は原文に明記されていません。Qwen3.8 mergeにはリビジョン6c84c7d5dとPR #27742が関係しています。