llama.cpp b11766、Metalバックエンドでargmaxとpool_1dを最適化

llama.cppはリリースb11766(#30862)で、Metalバックエンドのargmaxとpool_1dを最適化しました。変更には、Mac Studio(M2 Ultra、192GB)の環境を記したDeepSeek-V4-Flash-Vision-Exp-GGUFによる支援(Assisted-by)の表記が付いています。

llama.cppはggml-orgが公開する、C/C++で実装された言語モデル・視覚言語モデルの推論ソフトウェアです。

変更内容

対象 変更
argmax 大きな行に対して2パスの部分リダクションを使用
argmaxのスクラッチ領域 部分結果用の領域をMetal buffer allocator経由で確保
pool_1d 協調スレッドグループによるリダクションを使用
テスト MoE down-projectionのamax形状を対象に、中間次元全体をリダクションする代表的なPOOL_1D maxの性能テストケースを追加

このほか、軽微な修正(minor fix)も含まれています。

支援の表記

最適化とテスト追加の各変更には、Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB)という表記があります。追加されたpool_1dの性能テストは、MoE down-projectionで現れるamaxの形状を想定したものです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内