llama.cppはリリースb11766(#30862)で、Metalバックエンドのargmaxとpool_1dを最適化しました。変更には、Mac Studio(M2 Ultra、192GB)の環境を記したDeepSeek-V4-Flash-Vision-Exp-GGUFによる支援(Assisted-by)の表記が付いています。
llama.cppはggml-orgが公開する、C/C++で実装された言語モデル・視覚言語モデルの推論ソフトウェアです。
変更内容
| 対象 | 変更 |
|---|---|
| argmax | 大きな行に対して2パスの部分リダクションを使用 |
| argmaxのスクラッチ領域 | 部分結果用の領域をMetal buffer allocator経由で確保 |
| pool_1d | 協調スレッドグループによるリダクションを使用 |
| テスト | MoE down-projectionのamax形状を対象に、中間次元全体をリダクションする代表的なPOOL_1D maxの性能テストケースを追加 |
このほか、軽微な修正(minor fix)も含まれています。
支援の表記
最適化とテスト追加の各変更には、Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB)という表記があります。追加されたpool_1dの性能テストは、MoE down-projectionで現れるamaxの形状を想定したものです。

まだコメントはありません。