llama.cpp b12535、VulkanにStream-K方式のMUL_MATを実装

llama.cppはリリースb12535で、VulkanバックエンドにStream-K方式のMUL_MATを実装しました(#28528)。Stream-Kは256 K要素のチャンクを全SMに均等に分割する方式で、現在はcoopmat2(cm2)向けにのみ有効化しています。

何が新しいか

Stream-Kでは、各ワークグループの書き込み先がタイルの完了状況で分かれます。

  • タイルを完了したワークグループはdstへ書き込みます
  • それ以外のワークグループはscratchへ書き込みます
  • split-kと同様のresolveシェーダーで結果をまとめます

コミットには「Assisted-by: Codex」と記載があり、開発者はレビュー指摘への対応にCodexを使っています。CodexはOpenAIが提供するコーディングエージェントです。

対応シェーダーと有効化条件

項目 内容
チャンク単位 256 K elements
シェーダー実装済み scalar、cm1、cm2
現在有効 cm2のみ
cm2のヒューリスティック タイルサイズが大きいため単純(SMごとに1ワークグループ)
cm1のヒューリスティック 使用中のタイルサイズではより複雑になる

cm1が未有効の理由

原文によると、cm1向けの有効化ヒューリスティックは、cm1で使用中のタイルサイズではより複雑になります。開発者は、その調整をNVIDIAデバイス上で行う意味はないと説明しています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内