llama.cpp b12558、Adreno向けVulkanでサブグループ算術を無効化

llama.cppはリリース b12558(#30826)で、Qualcommのプロプライエタリドライバー上ではVulkanバックエンドのサブグループ算術(subgroup_arithmetic)を無効化しました。Adreno 850とX2-90でのtest-backend-opsでは、ADD_RMS_NORMが20/25から25/25に、RMS_NORM_MUL_ADDが33/45から45/45に改善しています。

何が問題だったか

Adrenoでは、分岐(divergent)したコードの後にsubgroupAdd()を実行すると誤った合計値が返ります。fused ADD+RMS_NORMのpartial-sum経路がこの問題に該当し、デコード時の正規化結果が壊れるため、長いプロンプトの後にモデルが不要なトークンを出力していました。

変更内容

  • Qualcomm proprietary driverではsubgroup_arithmeticをクリアします。
  • これによりadd_rms_fusionおよびその他のsubgroupAdd経路も無効になります。

検証結果

項目(Adreno 850 / X2-90) 変更前 変更後
ADD_RMS_NORM 20/25 25/25
RMS_NORM_MUL_ADD 33/45 45/45

速度面では、Adreno 850上のllama 3B Q4_0でpp512とtg128の結果が変更前後で変わりませんでした。Llamaは、Metaが開発し重みを公開している大規模言語モデルのファミリーです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内