openbmbは、MiniCPM-V 4.7 35B-A3Bのint4量子化版リポジトリopenbmb/MiniCPM-V-4.7-35B-A3B-int4をHugging Faceで公開しました。総パラメータ35B・活性3BのMoE構成で、openbmbはiPhone 17 Pro Max上で3 GBのメモリを使い13+ tokens/sのデコード速度を達成したと説明しています。
何が新しいか
MiniCPM-V 4.7は、単一画像・複数画像・動画の理解機能を持つMiniCPM-Vシリーズの最新モデルで、35B-A3Bは同シリーズ初のMoEモデルです。今回のリポジトリは、その量子化版をint4(W4A16、compressed-tensors、llm-compressor)で収録しています。ベースモデルはopenbmb/MiniCPM-V-4.7-35B-A3Bで、BF16の元ウェイトと完全なモデルカードはそちらにあります。ライセンスはapache-2.0、pipeline_tagはimage-text-to-textです。
オンデバイス推論の仕組み
openbmbは、MoEモデルは活性パラメータが少なくても全エキスパートの重みを端末メモリに保持しきれず、SSDなどから都度読み込むとデコードが停滞する、と課題を整理しています。35B-A3Bはこれに対して次の手法を組み合わせています。
- Lookahead Expert Scheduling(LES): 層をまたいだルーティング予測で、次の層で必要になりそうなエキスパートを事前にロードします。実装は
OpenBMB/llama.cpp-omniにあります。 - 細粒度の層別量子化
- DSparkによる投機的サンプリングの統合
この結果、iPhone 17 Pro Maxで3 GBのメモリ使用量、13+ tokens/sのデコード速度を示したとしています。またInstructモードでは、Qwen3.6 35B-A3Bより短い推論時間で高い総合スコアを得たと述べています。
視覚側では、LLaVA-UHD v4のintra-ViT早期圧縮を取り入れ、ビジョンエンコーダ内部で視覚トークンを早期に圧縮します。4x/16xの混合視覚トークン圧縮にも対応し、タスクごとに視覚の詳細度と推論コストを調整できます。
対応環境と配布形式
| 項目 | 内容 |
|---|---|
| OS | iOS、Android、HarmonyOS |
| チップ(day-0対応) | Rockchip、Houmo、Intel、AMD、Arm |
| 推論フレームワーク | SGLang、vLLM、llama.cpp、Ollama |
| ファインチューニング | SWIFT、LLaMA-Factory |
| 量子化版 | GGUF、BNB、AWQ、GPTQ、FP8 |
openbmbは併せて、既存能力の忘却を抑えつつ低コストで能力を拡張するファインチューニング手法Self-Replay Fine-Tuning(SRFT)も公開しています。
まだコメントはありません。