llama.cpp、v1.0.0をリリース ナイトリービルドはb12359

ggml-orgはllama.cppのv1.0.0をリリースしました。対応するナイトリービルドはb12359で、llama.cppとggmlのバージョンをそろって1.0.0に更新しています。

llama.cppは、ggml-orgが公開するC/C++実装の言語モデル・視覚言語モデル推論ソフトウェアで、CPUや各社GPUで動作し、CLIとOpenAI互換APIサーバーを備えます。

何が新しいか

v0.9.0からの変更履歴には次のコミットが含まれます。

  • llama.cpp : bump version to 1.0.0(#32190)とggml : bump version to 1.0.0(ggml/1690)
  • llama : prune(#30565)、ggml : prune(#29801)、examplesの古いコードの整理(#32184)

サーバーのセキュリティ修正

変更 PR
CORSプロキシとメディアURLのSSRFを修正 #32115
--cors-originsの処理を修正し、DNS rebindingを防止 #32098
非ループバックアドレスでのツール利用を明示的なオプトインに変更、CORSのホスト・ポートを検査 #32113
ブラウザから子インスタンスへの直接アクセスを禁止 #32120
クライアント切断・タイムアウト時にMCPツール呼び出しをキャンセル #32025
--tools-runtime指定時はx-tool-runtimeを無視 #32119

サーバーにはOpenAI互換の/v1/audio/speechエンドポイント(#31763)も加わりました。

バックエンドとモデル対応

領域 主な変更
CUDA OCP FP8対応(#28413)、BS 2-24向けfew-row MMQ(#31533)、NVFP4チェックポイントのprefill最適化(#26048)、MMQで空のMoEタイルをスキップ(#32067)
llama FP8 KVキャッシュ対応(#28392)
Vulkan Intel向けprefill用FAカーネル(#29357)、MoltenVKでの範囲外読み書きを修正(#31890)、Qwen向けtiled-transpose concatシェーダ(#30591)
Metal SOLVE_TRIカーネルの範囲外読み込み防止(#32103)、FA出力バッファへの範囲外書き込み防止(#31662)
SYCL デバイス側MoEスケジューラ(#30156)、4GB超のAOTを修正(#31873)
OpenCL Adreno向け分解FA(#32046)、f32 MUL_MAT_ID(#31783)
ROCm/HIP rocBLASの呼び出しごとの確保をやめ固定BLASワークスペースに(#31838)
CPU ARM NEONで4x4 simd_gemmタイル(#32128)、Flash AttentionのVをF32で累積(#29810)
マルチモーダル(mtmd) Kimi K3.1 vision追加(#31980)、Gemma 4の音声入力ストリーム対応(#31965)、clip.hを削除しmtmdへ統合(#31865)

UIでは、チャットの名前付きグループ化(#32012)、search_chatsツール(#32051)、スマートフォン向けの表示改善(#31949)などが入っています。

確認方法

詳細はリリースページと「Releases and versioning of ggml-org projects」に、変更全体は「Changelog since v0.9.0」にまとまっています。ggml-orgは追加情報を3PM CETに出すとしています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内