ローカルLLM
GGUF
GGMLプロジェクトで仕様が公開されている、推論用モデルを保存するバイナリ形式。重みなどのテンソルと、読み込みに必要なメタデータを格納する。メモリマッピングによる読み込みや、互換性を保ったメタデータの拡張を想定し、GGMLを使う推論ソフトウェアで利用される。
関連記事
ローカルLLM
IBM、granite-switch-4.1-8bのGGUF量子化版をHugging Faceで公開
ローカルLLM
Unsloth、MiniMax-H3-ImageのGGUF版を公開 推奨は13.61GB
ローカルLLM
inclusionAI、4B意思決定VLM「SingVL-4B」のGGUF版を公開
ローカルLLM
openbmb、MiniCPM-V-4.7-35B-A3BのGGUF版を16種の量子化で公開
ローカルLLM
Unsloth Studio更新、Qwen3.8-27BのDynamic v3.1 GGUFを追加
ローカルLLM
inclusionAI、ZoomGain-4BのGGUF版を3精度で公開
ローカルLLM
inclusionAI、ZoomGain-9BのGGUF版をFP16・Q8_0・Q4_K_Mで公開
ローカルLLM
Unsloth、MiniMax-H3-ImageのDiTをFP8/INT8で18.88GiBに量子化
ローカルLLM
Unsloth、Qwen3.8-27BのDynamic V3.0 GGUF版を公開
ローカルLLM
huihui-ai、Qwen3.6-35B-A3Bの非検閲MTP版GGUFを公開
ローカルLLM
Video-Rebirth、MiniMax-H3を13.7Bに圧縮したHyperFlow H3 Flashを公開
ローカルLLM
llama.cpp b12191、MoEキャッシュミスの一部をCPUで計算
モデル
OpenBMB、1.3BのOCR特化モデルMiniCPM-OCR 1.0を公開
ツール・開発
LM Studio v0.1.915-beta、Qwen3.8-Flash-Next導入とブラウザー内ファイル操作
ローカルLLM
llama.cpp v0.9.0、FP8 E4M3量子化と4つの新アーキテクチャに対応
モデル
Liquid AI、1GB未満で動く350Mモデル「LFM2.5-350M」を公開
モデル
Liquid AI、1GB未満で動く「LFM2.5-1.2B-Instruct」を公開
モデル
Liquid AI、1GB未満で動く推論モデルLFM2.5-1.2B-Thinkingを公開
ローカルLLM
openbmb、MiniCPM-V 4.7 35B-A3Bのint4版をHugging Faceで公開
ローカルLLM
inclusionAI、ZwZ2-4BのGGUF重みをFP16・Q8_0・Q4_K_Mで公開
ローカルLLM
huihui-ai、GLM-5.3のabliterated版を6.45GBのGGUFパッチで公開
ローカルLLM
Unsloth、Qwen-Image-LayeredのGGUF量子化版をHugging Faceで公開
ローカルLLM
Unsloth、Qwen-Image-Edit-2509のGGUF量子化版をHugging Faceで公開
ローカルLLM
Unsloth、Mistral Large 4(1T-A52B)のNVFP4版を公開
ローカルLLM
Unsloth、1兆パラメータのMistral Large 4を公開 1-bit版は233GB
ローカルLLM
Unsloth、Qwen-Image-Edit-2511のGGUF量子化版を公開
ローカルLLM
Liquid AI、意思決定モデルd1-Omni-2BのGGUF版を公開
研究
ThinkBit、2ビット化したQwen3 14Bを3.74 GBでMATH-500 94.8に
ローカルLLM
Unsloth、Qwen-ImageのGGUF量子化版をDynamic 2.0で公開
ツール・開発
Unsloth Desktop、定期実行とMiniMax-M3.1-Flash 428Bに対応
ローカルLLM
huihui-ai、DeepSeek-V4.1-Flashのabliterated版GGUFを公開
ローカルLLM
Liquid AI、LFM2.5-24B-A2B用ドラフター664MBのGGUFを公開
ローカルLLM
llama.cpp b11766、Metalバックエンドでargmaxとpool_1dを最適化
モデル
Unsloth、DeepSeek-V4.1-Flash-1017とFLUX.3 Kleinに対応
ローカルLLM
Tencent、Hy-Memory-30B-A3BのGGUF版を3種類公開
ローカルLLM
DeepSeek-V4.1-Flash-1017、UnslothのHFリポジトリで公開しDeepSWE 77.0
ローカルLLM
PS5LM、脱獄PS5のGPUでllama.cppを動かしQwen 9Bを55トークン/秒
モデル
OpenBMB、初のMoE版MiniCPM-V 4.7-35B-A3Bを公開
ローカルLLM
Unsloth、MiniMax-H3のFP8/INT8版を公開 レンダリングピーク36.97GB
ローカルLLM
Unsloth、20BのQwen-Image-EditをDynamic 2.0でGGUF化
モデル
OpenBMB、9Bのオムニモーダル「MiniCPM-o 4.5」を公開
モデル
Unsloth、Nemotron 3.5とMuse Spark Open 816Bのローカル実行に対応
ローカルLLM
NVIDIA、24GBで動く視覚言語モデルNemotron 3.5 Bolt 74B-A9Bを公開
モデル
Liquid AI、活性2BのMoE推論モデル「LFM2.5-24B-A2B」を公開
ツール・開発
Hermes Agent v0.22.0公開、llama.cppでローカルモデルを一括管理
ローカルLLM
Liquid AI、LFM2.5-24B-A2BのGGUF版をQAD版Q4_0付きで公開
ローカルLLM
bartowski、180BのQwen3.8-Flash-NextをGGUF化しQ4_K_Mは119.60GB
ローカルLLM
KoboldCpp 1.123、Qwen Image 2.1対応と公式サイトkoboldcpp.net開設
ローカルLLM
Janas-LLM、32GBノートで48GBのQwen3-Next-80Bを24tok/s生成
関連ヘッドライン(過去7日)
- ツール・開発
Computer Useベータ版を公開、MiniMax-H3-ImageがGGUF/FP8/INT8対応Unsloth Releases
- ツール・開発
llama.cppがInkling2テキスト・ビジョン対応を追加、GGUF変換も実装llama.cpp Releases
- ローカルLLM
Qwensploit-V2-27B-CyberSecurity-Qwen3.8のGGUF量子化版をbartowskiが公開bartowski (HF)
- ローカルLLM
unsloth、MiniMax-H3-ImageのGGUF量子化版を公開Unsloth (HF)記事
- ローカルLLM
UnslothがInkling-2-SmallのGGUF量子化ファイルを公開Unsloth (HF)
- ローカルLLM
inclusionAIがSingVL_S1_4B_GGUFを公開、Qwen3.5基盤の4Bマルチモーダル決定モデルinclusionAI (HF)記事
- ローカルLLM
- ローカルLLM
ibm-granite/granite-switch-4.1-8bのGGUF量子化版を公開IBM Granite (HF)記事
- ローカルLLM
ibm-granite/granite-switch-4.1-30bのGGUF量子化版を公開IBM Granite (HF)記事
- ローカルLLM
bartowskiがGLiDE-9BのGGUF量子化版を公開bartowski (HF)
- ローカルLLM
nex-agiのNex-N2.6のGGUF量子化版をbartowskiが公開、321Bパラメータ対応bartowski (HF)
- ローカルLLM
Dynamic v3.1がQwen3.8-27B対応GGUFを公開Unsloth Releases記事
- ローカルLLM
bartowski/ZoomGain-9B-GGUFを公開、llama.cpp b12180で量子化bartowski (HF)
- ローカルLLM
bartowski/ZoomGain-4B-GGUFを公開、llama.cpp b12180で量子化bartowski (HF)
- ローカルLLM
openbmb、MiniCPM-V-4.7-35B-A3BのGGUF量子化版を公開OpenBMB (HF)記事
- ローカルLLM
ZoomGain-9BのGGUF版をllama.cpp用に公開inclusionAI (HF)記事
- ローカルLLM
ZoomGain-4BのGGUF版をllama.cpp用に公開inclusionAI (HF)記事
- ローカルLLM
unslothがQwen3.8-27BのGGUFを公開、Dynamic 3.0量子化で精度向上Unsloth (HF)記事
