llama.cppはv0.9.0をリリースし、OCP FP8 E4M3量子化、複数系列推論向けのflash_attn_ext_rows、Clover・Limite・Metis-1.6・Mistral Large 4の4アーキテクチャ対応を追加しました。基盤のggmlはv0.29.0に更新され、NCCLベースのマルチノードTensor並列を初期サポートしています。
llama.cppはggml-orgが公開するC/C++製の言語モデル・視覚言語モデル推論ソフトウェアで、CLIやOpenAI互換APIサーバーを備えます。
主な新機能
| 項目 | 内容 |
|---|---|
| 量子化 | OCP FP8 E4M3テンソル型(飽和モード)、変換ヘルパー、新ftype LLAMA_FTYPE_MOSTLY_F8_E4M3 |
| Flash Attention | flash_attn_ext_rows:統合KVキャッシュで各クエリスライスが自身のK/V行リストを参照。複数系列で効率化し、非統合KVのプリフィル性能を回復 |
| バッチTensorコピー | ggml_backend_tensor_copy_n / set_n / get_n。_2d APIに代わり、MetalとCUDAで実装 |
| マルチノードTensor並列 | 新しいマルチプロセス・コミュニケーターインターフェースとNCCLを使用 |
| Gemma 4 | E2B/E4Bでプリフィル向けグラフ最適化 |
| Nightly build | b12110 |
新モデルとマルチモーダル
新たに対応したのは、拡散モデルをARモードで動かすClover-35B-A3B-Preview、Limite 1B - Violetto、Metis-1.6、Mistral Large 4です。Metis-1.6はPraxis約2.9BとLogos約10.2Bで構成され、固定深度再帰とLatentMoEを備えるMamba-2/GQAハイブリッドです。
音声では、Chatterbox TTSに対応しました。Nemotron 3.5 Transcribeは、プロンプトコンテキストと話者識別付きのオフライン文字起こしを40言語で行えます。Pocket TTSは音声クローンなしで定義済み音声を使えます。ほかにqwen3-vlのビデオプロンプト形式(MTMD_VIDEO_TEMPLATE_QWEN3VL)への正確な対応、Gemma 4画像のレターボックスなしリサイズも加わりました。LFM3はNVFP4 GGUFとtensor splitに対応しました。
API・サーバーの変更
mtmd.hにMTMD_GEN_AUDIO_TYPE_CHATTERBOX、mtmd_gen_audio_voice_name()、mtmd_gen_audio_get_voice()、mtmd_gen_state_set_ref()などを追加- サーバーの
GET /propsがモデルの定義済みTTS音声を返し、TTSエンドポイントが定義済み音声名を受け付ける /v1/responsesがextra_params(seed、min_pなど)を変換後のchat-completionsレスポンスにマージ-hfのタグが長い量子化名の内部に誤マッチする問題を修正
ggml v0.29.0のバックエンド改善
ggmlは主要バックエンド全体で性能改善を行いました。CPUに新しいSVEカーネル、SYCLに量子化KV向けDPAS Flash Attention、CUDAにfused MoE MMQ、MetalにMXFP4 mat-vecの高速化、Vulkanにsplit-Kチューニング、OpenCLに量子化GEMM/GEMVの対応拡大が入りました。Hexagonはlightning indexer、top-k mask、conv2d、upscaleなどの新opに対応しています。Appleプラットフォームではvm_allocateベースの確保に切り替えました。
まだコメントはありません。