Qwen3.8-Flash-Next（104 GBのMoEモデル）について、AMD Ryzen AI MAX+ 395のiGPUとRTX 3090 Tiに処理を分割した推論結果が示されました。1つのllama.cppプロセスで、iGPUはVulkan、RTX 3090 TiはCUDAを使用しています。
モデルと推論条件
Qwen3.8-Flash-Nextは、512エキスパート（レイヤーあたり）、36層のgated DeltaNet、12層のtop-k sparse attentionを備えています。n-gramテーブルのサイズは26.8 GiBで、unsloth UD-Q4_K_XLによる量子化モデルのサイズは103.69 GiBです。
評価環境は、128 GBメモリとiGPU向け64 GiBのcarve-outを設定したAMD Ryzen AI MAX+ 395（Strix Halo）に、PCIe x4-classのeGPUとしてRTX 3090 Tiを組み合わせています。生成はQ4_K_XL、greedy設定で行われ、プレフィルには4つの4Kプロンプトを使用しています。
生成速度の結果
iGPU単独でのベースライン生成速度は22.2 tok/sでした。処理を分割した場合は32.9 tok/sに向上しました。一方、MTPヘッドを使用した場合の生成速度は、分割構成で31.3 tok/s、iGPU単独で5.9 tok/sでした。
1ストリームかつ短いコンテキストでの生成速度は50.5 tok/sでした。また、コンテキスト長196Kで4ストリームを実行した場合、142Kコンテキスト時の集約デコード速度は84 tok/sでした。
まだコメントはありません。