llama.cppはリリースb12535で、VulkanバックエンドにStream-K方式のMUL_MATを実装しました(#28528)。Stream-Kは256 K要素のチャンクを全SMに均等に分割する方式で、現在はcoopmat2(cm2)向けにのみ有効化しています。
何が新しいか
Stream-Kでは、各ワークグループの書き込み先がタイルの完了状況で分かれます。
- タイルを完了したワークグループは
dstへ書き込みます - それ以外のワークグループは
scratchへ書き込みます - split-kと同様のresolveシェーダーで結果をまとめます
コミットには「Assisted-by: Codex」と記載があり、開発者はレビュー指摘への対応にCodexを使っています。CodexはOpenAIが提供するコーディングエージェントです。
対応シェーダーと有効化条件
| 項目 | 内容 |
|---|---|
| チャンク単位 | 256 K elements |
| シェーダー実装済み | scalar、cm1、cm2 |
| 現在有効 | cm2のみ |
| cm2のヒューリスティック | タイルサイズが大きいため単純(SMごとに1ワークグループ) |
| cm1のヒューリスティック | 使用中のタイルサイズではより複雑になる |
cm1が未有効の理由
原文によると、cm1向けの有効化ヒューリスティックは、cm1で使用中のタイルサイズではより複雑になります。開発者は、その調整をNVIDIAデバイス上で行う意味はないと説明しています。

まだコメントはありません。