llama.cpp b12005、OpenCLにq2_0初期サポートとAdreno最適化

llama.cppはリリースb12005(#31340)で、OpenCLバックエンドにq2_0の初期サポートを追加しました。行列ベクトル積・行列積の複数実装に加え、Adreno向けのdecodeと狭いバッチの最適化を含みます。

追加された実装

変更は以下のコミットで構成されています。

内容 対象
q2_0 AOS MV OpenCL
q2_0 SOA MVとtiled MM OpenCL
q2_0 noshuffle GEMM/GEMV Adreno
q2_0 DP4A Adreno
q2_0 decodeと狭いバッチの最適化 Adreno

開発体制

コミットにはShaofei Qi氏とLi He氏が共同著者として記載されています。AOS MV、SOA MV/tiled MM、noshuffle GEMM/GEMVの各コミットには「Assisted-by: Codex」と記されています。CodexはOpenAIが提供するコーディングエージェントで、プロジェクト内のファイルを読み、コードを変更し、コマンドを実行して開発作業を進めます。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内