llama.cppはリリースb12005(#31340)で、OpenCLバックエンドにq2_0の初期サポートを追加しました。行列ベクトル積・行列積の複数実装に加え、Adreno向けのdecodeと狭いバッチの最適化を含みます。
追加された実装
変更は以下のコミットで構成されています。
| 内容 | 対象 |
|---|---|
| q2_0 AOS MV | OpenCL |
| q2_0 SOA MVとtiled MM | OpenCL |
| q2_0 noshuffle GEMM/GEMV | Adreno |
| q2_0 DP4A | Adreno |
| q2_0 decodeと狭いバッチの最適化 | Adreno |
開発体制
コミットにはShaofei Qi氏とLi He氏が共同著者として記載されています。AOS MV、SOA MV/tiled MM、noshuffle GEMM/GEMVの各コミットには「Assisted-by: Codex」と記されています。CodexはOpenAIが提供するコーディングエージェントで、プロジェクト内のファイルを読み、コードを変更し、コマンドを実行して開発作業を進めます。

まだコメントはありません。