openbmb、dense 2Bの「MiniCPM5-2B」をApache-2.0で公開

スペック

総パラメータ2B
ライセンスapache-2.0
重みの公開オープンソース
4bit量子化の目安メモリ約1.2GB(16GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

openbmbは、MiniCPM5シリーズの第2弾となるopenbmb/MiniCPM5-2BをHugging Faceで公開しました。MiniCPM5-1Bに続くモデルで、同じ学習レシピを拡張したdense 2B Transformerです。

何が新しいか

MiniCPM5-2Bは総パラメータ2Bのdense Transformerで、オンデバイス、ローカル展開、リソース制約のある環境に向けて構築されたとしています。重みはオープンソースで、ライセンスはapache-2.0、pipeline_tagはtext-generationです。

原文は、同程度のサイズの強力なオープンソースモデルとの比較において、この比較セット内で2Bクラスのオープンソースとしてのstate-of-the-artに達すると説明しています。また全体として4Bクラスのモデルにも競争力を保ちつつ、同サイズのモデルに対してはコーディング、数学、長文脈理解、ツール利用、エージェントタスクで優位性を示すとしています。モデルカードには、Code Reasoning、Math Reasoning、Instruction Following、General Knowledge、Long Context、Tool Use、Coding Agent、Search Agent、General Agentの各次元を並べた能力レーダーチャートが掲載されています。

試し方

Hugging Face上のモデル名はopenbmb/MiniCPM5-2Bです。モデルカードからはMiniCPM Tech Report、GitHub Repo、Online Demo English、中文の案内が提供されています。技術情報はMiniCPM Tech Reportにまとめられています。

背景

Hugging Faceは機械学習の共同開発基盤Hugging Face Hubを提供する企業で、モデルの重みやデータセット、実行可能なデモを共有するSpacesを扱います。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内