llama.cppはリリース b12558(#30826)で、Qualcommのプロプライエタリドライバー上ではVulkanバックエンドのサブグループ算術(subgroup_arithmetic)を無効化しました。Adreno 850とX2-90でのtest-backend-opsでは、ADD_RMS_NORMが20/25から25/25に、RMS_NORM_MUL_ADDが33/45から45/45に改善しています。
何が問題だったか
Adrenoでは、分岐(divergent)したコードの後にsubgroupAdd()を実行すると誤った合計値が返ります。fused ADD+RMS_NORMのpartial-sum経路がこの問題に該当し、デコード時の正規化結果が壊れるため、長いプロンプトの後にモデルが不要なトークンを出力していました。
変更内容
- Qualcomm proprietary driverでは
subgroup_arithmeticをクリアします。 - これにより
add_rms_fusionおよびその他のsubgroupAdd経路も無効になります。
検証結果
| 項目(Adreno 850 / X2-90) | 変更前 | 変更後 |
|---|---|---|
| ADD_RMS_NORM | 20/25 | 25/25 |
| RMS_NORM_MUL_ADD | 33/45 | 45/45 |
速度面では、Adreno 850上のllama 3B Q4_0でpp512とtg128の結果が変更前後で変わりませんでした。Llamaは、Metaが開発し重みを公開している大規模言語モデルのファミリーです。

まだコメントはありません。