llama.cpp、OpenCLでIQ2_S/XS/XXS量子化に初期対応

llama.cppはリリースb11986(#31267)で、OpenCLバックエンドにIQ2量子化形式(IQ2_S、IQ2_XS、IQ2_XXS)の初期サポートを追加しました。Adreno GPU向けの専用最適化を含み、QualcommのHongqiang Wang氏が共同著者に名を連ねています。

llama.cppはggml-orgが公開するC/C++実装の推論ソフトウェアで、CPUや各社GPUで実行でき、量子化とCPU・GPUの併用に対応します。

追加された内容

3つの形式それぞれに、同じ構成の実装が入りました。

項目	内容
対象形式	IQ2_S、IQ2_XS、IQ2_XXS
汎用カーネル	AOS行列ベクトル演算(mv)、SOA行列ベクトル演算、タイル化行列乗算(tiled mm)
Adreno向け	noshuffle GEMM/GEMV、DP4A
Adreno向け最適化	デコードおよび狭いバッチ(narrow batches)の最適化

利用条件

• OpenCLバックエンドを使う環境で、IQ2_S/IQ2_XS/IQ2_XXSのモデルを実行できます。
• noshuffle GEMM/GEMV、DP4A、デコード・狭いバッチ最適化はAdreno GPUが対象です。
• 今回の変更はコミット名のとおり「initial support」(初期サポート)の位置づけです。