ツール・開発
llama.cpp
ggml-orgが公開する、C/C++で実装された言語モデル・視覚言語モデルの推論ソフトウェア。CPUや各社GPUで実行でき、量子化とCPU・GPUの併用に対応する。モデルとの対話用CLIやOpenAI互換APIサーバーを備え、ローカルとクラウドの双方で使える。
関連記事
ローカルLLM
Liquid AI、LFM2.5-24B-A2B用ドラフター664MBのGGUFを公開
ローカルLLM
llama.cpp b11766、Metalバックエンドでargmaxとpool_1dを最適化
ローカルLLM
Tencent、Hy-Memory-30B-A3BのGGUF版を3種類公開
ローカルLLM
PS5LM、脱獄PS5のGPUでllama.cppを動かしQwen 9Bを55トークン/秒
モデル
OpenBMB、初のMoE版MiniCPM-V 4.7-35B-A3Bを公開
ローカルLLM
llama.cpp v0.7.0、MoEエキスパートGPUキャッシュで最大約2.2倍
ローカルLLM
NVIDIA、24GBで動く視覚言語モデルNemotron 3.5 Bolt 74B-A9Bを公開
ローカルLLM
llama.cpp b11636、SYCLでIQ3_Sのデコードを最大82%高速化
ツール・開発
Hermes Agent v0.22.0公開、llama.cppでローカルモデルを一括管理
ローカルLLM
bartowski、180BのQwen3.8-Flash-NextをGGUF化しQ4_K_Mは119.60GB
ローカルLLM
Janas-LLM、32GBノートで48GBのQwen3-Next-80Bを24tok/s生成
ローカルLLM
llama.cpp b11536、GGUFから訓練時コンテキスト長を取得しModels Managerで活用
ローカルLLM
llama.cpp server、b11506でスロット復元後もチェックポイントへロールバック可能に
ローカルLLM
Liquid AI、意思決定モデルd1-3BのGGUF版をllama.cpp向けに公開
ローカルLLM
llama.cppのMetal、BF16やIQ系にも少数行MMA行列乗算を拡大
ローカルLLM
llama.cpp b11474、GLM5-NextのMTPグラフと分割GGUF読み込みに対応
ローカルLLM
llama.cpp、b11454でK2 HorizonのdenseとMoVAに対応
ローカルLLM
huihui-ai、Kolibri-1の無検閲GGUF版を公開 llama.cppパッチ必須
ローカルLLM
llama.cpp v0.6.0公開、拡張バッチAPIと320BのGLM-5.3-Flash対応
ローカルLLM
bartowski、321BのGLM-5.3-FlashをGGUF化しQ4_K_Mは200.83GB
ツール・開発
Magnitude、端末上でカーネル調整しllama.cpp比最大2倍の推論
研究
Tetra、Leech格子量子化を2.148 bits/weightでサービング
ローカルLLM
llama.cppのprompt lookup drafting、最適化で最大140倍高速化
ローカルLLM
bartowski、jebadiah-9b-v2のGGUF量子化版を公開 Q4_K_Mは5.98GB
ハードウェア
AMD Quark、Strix HaloでQwen3.6-35B-A3Bを70GBから21GBへ量子化
ローカルLLM
llama.cpp、Hexagonバックエンドに複数デバイスへのrow-split分割を追加
モデル
Liquid AI、日本語向けLFM2.5-1.2BのGGUF版を公開
ツール・開発
llama.cpp、mtmdにビデオID伝播機能を導入
ローカルLLM
Qwen3.8-27Bを3推論エンジンで比較
ツール・開発
llama.cpp 0.4.0がリリース、推論制御を拡充
ローカルLLM
Qwen3.8-Flash-Nextの分割推論で速度改善
ハードウェア
llama.cppでQwen3.8-Flash-Nextを性能検証
ツール・開発
llama.cpp、旧macOS向けRPC修正のPRを公開
関連ヘッドライン（過去7日）
- ローカルLLM
LiquidAIのLFM2.5-24B-A2Bをllama.cpp b11606でGGUF量子化し公開bartowski (HF)
- ツール・開発
llama.cpp b11850でSoprano-80MとSoprano-1.1-80MのTTS対応を追加llama.cpp Releases
- ローカルLLM
llama.cpp b11821でIntel XMX行列エンジンのマルチカラム処理をリファクタリングllama.cpp Releases記事
- ローカルLLM
LiquidAIがLFM2.5-24B-A2B-DSparkのGGUF版を公開、llama.cpp対応Liquid AI (HF)記事
- ツール・開発
llama.cppがTTS用のPOST /ttsエンドポイントを追加llama.cpp Releases
- ローカルLLM
Ornith-1.5-122B-GGUFをllama.cpp b11716で量子化公開bartowski (HF)
- ローカルLLM
llama.cpp b11766でMetalのargmaxとpool_1dを最適化llama.cpp Releases記事