OpenBMBは2026年2月6日、総パラメータ9Bのオムニモーダルモデルopenbmb/MiniCPM-o-4_5をApache-2.0ライセンスで公開しました。OpenCompassの平均スコアは77.6で、OpenBMBは視覚言語性能がGPT-4oとGemini 2.0 Proを上回り、Gemini 2.5 Flashに近いと説明しています。
何が新しいか
MiniCPM-o 4.5は、SigLip2、Whisper-medium、CosyVoice2、Qwen3-8Bを基盤にしたエンドツーエンドのモデルです。新機能はフルデュプレックスのマルチモーダルライブストリーミングです。リアルタイムの映像と音声の入力ストリームを同時に処理しながら、テキストと音声を並行して出力します。入力と出力が互いにブロックすることはありません。LLMは入力ストリームを監視し、1Hzの頻度で発話するかどうかを判断します。この仕組みにより、モデルはライブの場面を理解しながら、リマインドやコメントを自分から発することができます。
このほか、次の機能を備えています。
- 1つのモデルでinstructモードとthinkingモードの両方に対応
- 英語・中国語のリアルタイム音声会話(声を設定可能)
- 短い参照音声による音声クローニングとロールプレイ。OpenBMBはクローニング性能がCosyVoice2を上回るとしています
仕様・性能
| 項目 | 値 |
|---|---|
| OpenCompass平均(8ベンチマーク) | 77.6 |
| 画像解像度 | 最大180万画素(任意のアスペクト比) |
| 動画 | 最大10fps |
| 対応言語 | 30以上 |
| 発話判断頻度 | 1Hz |
OpenBMBによると、OmniDocBenchのエンドツーエンド英語文書解析ではGemini-3 Flash、GPT-5、DeepSeek-OCR 2を上回りました。MMHal-BenchではGemini 2.5 Flashと同等です。アーキテクチャ面では、全ストリームをミリ秒単位でタイムラインに同期させ、時分割多重(TDM)でLLMバックボーンに渡します。音声トークンデコーダーはテキストと音声のトークンを交互にモデル化しており、1分を超える長い音声も安定して生成できるとしています。
試し方・対応環境
- 精度100%の基本利用: Nvidia GPU上のPyTorch推論
- ローカルCPU推論: llama.cpp、Ollama
- 量子化モデル: int4とGGUFで16サイズ
- 高スループット・メモリ効率重視の推論: vLLM、SGLang
- マルチチップバックエンド: FlagOS
- リアルタイムWebデモ: GPUやMacBookなどのローカルデバイスにデプロイでき、フルデュプレックスのライブストリーミングを手元で試せます
OpenBMBは、GitHub、CookBook、Omni-modal Demo、Vision-Language Demo、CaseBookも用意しています。
背景
QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、MiniCPM-o 4.5はそのQwen3-8BをLLM部分に使っています。
まだコメントはありません。