LocalAI 4.12.0、211件のPRでWeb UI刷新と音声ストリーミング対応

LocalAIは4.12.0をリリースし、Web UIの刷新、ストリーミング音声応答、ネイティブな意思決定ルーティング、モデルメモリとプロンプト状態の制御を追加しました。v4.11.0比でマージされたプルリクエストは211件、モデルギャラリーのトップレベル項目は1,660から1,896へ236件増えています。

何が新しいか

• Web UI: 共通ナビゲーションとコンポーザーでモデル、チャット、Studio、運用機能を整理しました。ライト/ダークテーマ、モデル詳細・バリアント・配置・ディスク使用量の表示、ノード単位のバックエンド削除に対応します。既存URLは引き続き使えます。
• ストリーミング音声: Qwen TTSがTTSLive RPC経由で段階的なテキスト入力を受け付け、LLMの応答完了前に音声生成を始められます。ギャラリーにqwen3-streaming-assistant、vits-streaming-assistant、piper-streaming-assistantを追加しました(パイプライン設定のみで、LLM・文字起こし・VAD・TTSモデルは別途インストールが必要)。
• Parakeetバンドル: ASR、VAD、話者分離、音検出、話者エンコーダーを1つのバンドルで扱えます。include_soundsで話者分離結果に時刻付きの音イベントを含められます。
• 意思決定ルーティング: 意思決定モデルがルーター向けにリクエストを直接分類します。POST /v1/decisionsは既存のSystemOneパイプラインを述語・選択・スコアに対応させるもので、/v1/systemoneも残ります。
• 画像アップスケーリング: POST /v1/images/upscaleを追加しました。Studioは出力を子画像として記録します。ネイティブESRGANモードはdiffusionコンテキストを読み込まずにタイリングできます。
• 推論制御: moe_cache_mibによるMoEエキスパートキャッシュ、lazy_modeによる遅延テンソル読み込み、スロットのプロンプトキャッシュ保存・復元(オプトイン)を追加しました。
• その他: GEM-XによるRGBフレームからのポーズ生成(SOMA-77またはSMPL-24、CPUまたはVulkan、APIのみ)、Qdrantによる永続ベクトルストア(/stores/*、TLS対応)、ResponsesのPIIフィルタリング、リモートMCPサーバー向けOAuth2クライアント認証、YuE2による音楽生成、/api/conversationsによるチャット履歴のアカウント同期が加わりました。

リリースの規模

項目	数値
マージPR	211
コミット	307(直接コミット96)
変更ファイル	1,416(+186,826 / -67,020)
機能PR	32
ユーザー向け修正PR	38
モデルギャラリーPR	29
依存関係PR	90
ギャラリー項目	1,660 → 1,896(+236)

使い方と条件

ネイティブのストリーミング音声は、LLMとTTSのストリーミングを有効にして次のように設定します。

pipeline:
  streaming:
    llm: true
    tts: true

非ネイティブの音声エンジンで節単位合成を使う場合はpipeline.streaming.clause_chunking: trueを明示します。未設定なら応答全体を一括合成します。

機能	条件
チャット履歴のアカウント同期	認証、WebUI有効化、chat_history権限
voice_verify_threshold	コサイン距離、0〜2、デフォルト0.5
OmniVoiceの音声長	上限30秒、生成フレーム単位に量子化され最終WAVの長さは厳密でない
画像アップスケーリング倍率	モデルのネイティブ倍率と一致が必要、任意倍率補間は非対応
/v1/decisions	質問は最大64件、画像入力は画像対応の意思決定モデルとインラインPNG/JPEGが必要

/v1/decisionsで対応しない入力はテキストのみの判定に変換されず失敗します。古いllama.cppイメージはサーバーが最新でもネイティブDecisionsに非対応の場合があり、その際は501を返してバックエンドをアップグレード対象にします。YuE2の重みはCC-BY-NC-4.0で、非商用利用に限られます。

背景

llama.cppはC/C++で実装された言語モデル・視覚言語モデルの推論ソフトウェアで、CPUや各社GPUでの実行と量子化に対応します。LocalAIは今回のリリースを、StudioやTalkなど一部コンポーネントを将来オンデマンドでインストールできるアドオンへ分離するための準備と位置づけています。