llama.cpp 0.4.0がリリース、推論制御を拡充

llama.cppのバージョン0.4.0がリリースされました。あわせてggml 0.23.0が採用されています。

主な変更点

量子化パラメータにmax_buf_sizeが追加されました。また、KVセルのトークン追跡に対応するため、セッションおよび状態のバージョンが引き上げられました。

推論処理に関しては、llama_lazy_modeとlazy_modeが追加されました。コマンドラインオプションでは、--lazy-modeがリネームされ、--n-cpu-ffnが追加されています。

対応対象として、パラメータ数75B、アクティブパラメータ数9BのNemotron-3-Puzzle-75B-A9Bに関する変更も含まれています。