llama.cpp v0.8.0、LFM3ファミリーと/v1/realtime音声APIに対応

llama.cppはv0.8.0を公開し、LiquidAIのLFM3ファミリー(テキスト・画像・音声・オムニ)と、OpenAI realtime protocolを実装する/v1/realtimeエンドポイント、TTS用のPOST /ttsを追加しました。基盤ライブラリのggmlもv0.27.0からv0.28.0へ更新しています。

llama.cppはggml-orgが公開するC/C++製の推論ソフトウェアで、CLIとOpenAI互換APIサーバーを備えます。Liquid AIはMIT発の基盤モデル開発企業です。

新モデル

モデル	種別・内容
LFM3-1.7B	テキスト。HFリファレンス実装と照合済み
LFM3-VL-2B	ビジョン
LFM3-Audio-2B / LFM3-Omni-2B	ASR・TTS・音声チャットを単一モデルで提供、音声入出力のストリーミング対応
d1-2B / d1-omni-2B	LiquidAIのdecisionモデル

このほかDeepSeek V4.1 Flash、SenseNova U1、Beam、Kolibri-1、Flint、Muse Spark Open、Granite Switch Decision、Nemotron-3(.5)-Embed、H2O-Lightning-4B、MiniCPM-OCR 1.0/MiniCPM-OCR-Jev、Soprano TTSにも対応しました。LFM3ファミリーでは動画入力も有効化しています。

音声APIとサーバー機能の使い方

• ストリーミング音声入力: 実験的なmtmd_audio_stream APIが、到着したPCMをデコーダー用の埋め込み行へ変換します。voxtral-realtimeのサポートにも使われています。音声生成はステートフルになり、mtmd_gen_stateが従来のstate_dataバッファを置き換えます。
• /v1/realtime: 会話と文字起こしに対応し、コミット済み音声の排出後にresponse.doneを送信します。ツール呼び出しにも対応しました。
• POST /tts: TTSモデル向けの読み上げエンドポイントです。
• CLI: --modelまたは-hfの指定が必須になりました。
• UI: Hugging Face Hubからモデルを検索・ダウンロードでき、会話検索と会話のコンパクションも追加しました。OGG音声添付はWAVへ変換して扱います。

サーバーではチャットテンプレートのreasoning effortレベルをAPIで選択可能にし、ルーターの動的アンロード用デバイスメモリマージン、投機的デコーディングとlogprobsの併用、LAN外からのp2pアクセス用--connectフラグも加えています。

コアとggmlの変更

項目	内容
ggml	v0.27.0 → v0.28.0
MoEホストメモリキャッシュ	通常のLRUから50/50 SLRUへ
LLAMA_DRY_MAX_SEQ_BREAKERS	64(各breakerは初期化時にO(n_vocab)のコスト)
テンソル並列(stepfun・laguna)	4-10 GPUs
-1 expert index	MUL_MAT_ID / ADD_IDでスロットをスキップし出力行をゼロ化

sparse attention(QSA/DSA)は新しいGGML_OP_TOP_K_MASKの融合マスク演算へ移行しました。バックエンドではCUDAの融合MoE top-kとチャンク化グラフ起動、SYCLのグラフ記録・再生、OpenCLのQ2_K/Q3_K、Hexagon HTPの再構成、KleidiAI SVE GEMV/GEMMカーネルなどを含みます。