Muse Glimmer 30B、約4-bit量子化で単一GPU動作のエージェントモデル

スペック

総パラメータ30B
ライセンスApache 2.0
重みの公開オープンソース
配布形式・量子化約4-bit精度
4bit量子化の目安メモリ約18GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

arXivの論文によると、Muse Glimmerは消費者向けハードウェア上で自律型エージェントタスクを実行するための30Bパラメータの因果言語モデルで、約4-bit精度に量子化して単一GPUで推論できる形でApache 2.0ライセンスのもと公開されました。

何が新しいか

Muse Glimmerは知覚エンコーダーを備え、マルチステップ推論、信頼性の高いツール利用、失敗からの復旧を単一モデルに統合しています。クラウドインフラを使わず、消費者向けデバイス上でローカルに動作するAIエージェント向けに設計されています。

仕様

総パラメータ数は30Bで、入力はテキストと画像、出力はテキストです。学習データは100を超える言語から構成されています。配布モデルは約4-bit精度に量子化されており、単一GPUでの効率的な推論を想定しています。

ベンチマーク上の位置づけ

論文は、ツール利用、マルチステップ計画、エージェントタスク完了の各ベンチマークで、同サイズクラスのGemma4-31BおよびQwen3.6-27Bと比較して最先端の性能を達成したと説明しています。Gemmaは Google のチームが開発するオープンなモデルファミリー、QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。

提供条件

ライセンスはApache 2.0で、重みはオープンソースとして公開されています。著者らは、高性能で安全なローカルAIエージェントのオープンソース開発を促すことを公開の目的に挙げています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内