OpenBMBは、MiniCPM-Vシリーズ初のMoEモデルopenbmb/MiniCPM-V-4.7-35B-A3Bをapache-2.0ライセンスで公開しました。総パラメータ35B・活性3Bの画像・テキスト変換モデルで、iPhone 17 Pro Max上では3GBのメモリで13+ tokens/sのデコード速度に達するとしています。
何が新しいか
MiniCPM-V 4.7は、単一画像・複数画像・動画理解を基盤とするシリーズの最新モデルです。OpenBMBは35B-A3Bを「性能を損なわずに端末上で滑らかに動く初のオープンソースMoEモデル」と位置づけています。これを支えるのが、同時に導入したLookahead Expert Scheduling(LES)、細粒度のレイヤー単位量子化、DSparkによる投機的サンプリングの統合です。
LESは層をまたいだルーティング予測で次の層に必要になりそうなエキスパートを事前ロードします。実際のルーターが選んだエキスパートのうちプリフェッチ済みのものを優先して計算し、残りのロードと計算を重ねます。予測はプリフェッチとスケジューリングにだけ使い、計算は元のトークン単位ルーティングに従うため、予測が外れたエキスパートも通常どおりロードして評価します。OpenBMBは、プロンプト全体でエキスパートの部分集合を固定する手法では、モデルが本来選ぶエキスパートを除外して能力が落ちうると説明しています。
アーキテクチャと性能
MiniCPM-V 4.7は、LLaVA-UHD v4のintra-ViT早期圧縮をベースに、ビジョンエンコーダ内部で視覚トークンを早い段階で圧縮し、後続層の計算量を減らします。4x/16xの混合視覚トークン圧縮にも対応し、タスクに応じて視覚的な詳細と推論コストを調整できます。OpenBMBによると、Instructモードの35B-A3Bは、Qwen3.6 35B-A3Bより短い推論時間で高い総合スコアを出します。
提供形式と対応環境
| 項目 | 内容 |
|---|---|
| 量子化 | GGUF、BNB、AWQ、GPTQ、FP8対応 |
| 推論フレームワーク | SGLang、vLLM、llama.cpp、Ollama |
| ファインチューニング | SWIFT、LLaMA-Factory |
| OS | iOS、Android、HarmonyOS |
| チップ(day-0対応) | Rockchip、Houmo、Intel、AMD、Arm |
LESの実装はOpenBMB/llama.cpp-omniで公開されています。DSpark用のモデルopenbmb/MiniCPM-V-4.7-35B-A3B-DSparkも用意しています。llama.cppはC/C++で実装された言語モデル・視覚言語モデルの推論ソフトウェアで、量子化とCPU・GPUの併用に対応します。
OpenBMBはあわせて、低コストで能力を拡張しつつ既存能力の忘却を抑えるファインチューニング手法Self-Replay Fine-Tuning(SRFT)も公開しました。
まだコメントはありません。