openbmb、MiniCPM-V-4.7-35B-A3BのGGUF版を16種の量子化で公開

openbmbは、MiniCPM-V-4.7-35B-A3Bをllama.cpp向けに量子化したGGUF版リポジトリopenbmb/MiniCPM-V-4.7-35B-A3B-ggufをHugging Faceで公開しています。F16からmix_q3gud_imまで16種の量子化形式を揃えており、Q4_K_Mの必要メモリ目安は約32 GBのユニファイドメモリです。

何が新しいか

MiniCPM-V 4.7はMiniCPM-Vシリーズ初のMoEモデルで、35B-A3B構成です。単一画像・複数画像・動画の理解に対応し、ライセンスはapache-2.0です。このリポジトリは元のBF16重みではなく、GGUF量子化版を提供します。BF16重みとモデルカードはopenbmb/MiniCPM-V-4.7-35B-A3Bにあります。

GGUFファイルは2系統あり、違いは埋め込みチャットテンプレートだけで、テンソル重みはバイト単位で同一です。

配置	thinking	備考
リポジトリのルート	無効(固定)	テンプレートで固定され有効化不可。推論モデルとして学習されていないため、openbmbはこちらを既定として推奨
thinking/	既定で有効	公式上流テンプレートを復元。回答前に[Start thinking] … [End thinking]を出力し、トークン数が増えるため-nを大きく設定

mmprojファイルはチャットテンプレートを含まず、両系統で共有できます。llama.cppは常にenable_thinkingをテンプレートへ注入するため、--reasoning offはルート版では効果がなく、thinking/版では推論トレースを無効化します。

提供量子化はF16、Q8_0、Q6_K、Q5_K_M、Q5_K_S、Q5_1、Q5_0、Q4_K_M、Q4_K_S、Q4_1、Q4_0、IQ3_M、IQ3_XS、IQ4_NL、IQ4_XS、mix_q3gud_imの16種です。

試し方と要件

Q4_K_Mは約32 GBのユニファイドメモリが必要で、openbmbはメモリの小さいマシンではIQ4_XSを推奨しています。

デスクトップアプリLlama(llama.cppチームとHugging Faceによるもの)を使う場合、macOSはbrew install --cask llama-app、WindowsはWindowsインストーラーで導入し、モデルページで「Use this model → Llama」を選びます。

ターミナルでは-hfでモデルと対応するmmprojを自動取得します。

llama cli -hf openbmb/MiniCPM-V-4.7-35B-A3B-gguf:Q4_K_M
llama serve -hf openbmb/MiniCPM-V-4.7-35B-A3B-gguf:Q4_K_M  # WebUI + OpenAI互換API(:9931)

ローカルファイルを使う場合は-mでGGUFを指定し、共有のmmproj-model-f16.ggufを--mmprojで渡します。

# thinking無効(既定)
llama cli -m MiniCPM-V-4_7-35B-A3B-Q4_K_M.gguf --mmproj mmproj-model-f16.gguf --image img.jpg -p "Describe."
# thinking有効
llama cli -m thinking/MiniCPM-V-4_7-35B-A3B-Q4_K_M-thinking.gguf --mmproj mmproj-model-f16.gguf --image img.jpg -p "Describe." -n 1024

開発用にllama-mtmd-cliとllama-serverも引き続き使えますが、通常の入口はllama cli/llama serveです。

背景と意味

openbmbによると、MiniCPM-V 4.7はLookahead Expert Scheduling(LES)、層ごとの細粒度量子化、DSpark投機的サンプリングの組み合わせで、iPhone 17 Pro Maxにおいて3 GBのメモリで13+ tokens/sのデコード速度を出すとしています。Instructモードでは、Qwen3.6 35B-A3Bより短い推論時間で高い総合スコアを得たと説明しています。ViT内での早期圧縮による4x/16x混合の視覚トークン圧縮にも対応します。

対応環境はiOS、Android、HarmonyOSで、推論フレームワークはSGLang、vLLM、llama.cpp、Ollama、ファインチューニングはSWIFTとLLaMA-Factoryに対応します。量子化はGGUFのほかBNB、AWQ、GPTQ、FP8もサポートします。