Unsloth、MiniMax-M3の実験的GGUFを公開 428B MoEをllama.cppで実行

UnslothはMiniMaxAIのMoEモデル「MiniMax-M3」(総パラメータ約428B、活性約23B)向けの実験的なGGUF unsloth/MiniMax-M3-GGUF を公開し、Jun 12 UpdateでUnsloth Studioでの実行に対応しました。llama.cppでは開発中のPR #24523からビルドすることで、このGGUFを実行できます。

UnslothはAIモデルの実行と学習のためのツール群で、量子化形式への出力やローカルモデルのコーディングエージェントへの接続に対応しています。

何が新しいか

MiniMax-M3はMoEとMiniMax Sparse Attention(MSA)を組み合わせ、テキスト・画像・動画に対応するモデルです。原文によると、MSAにより1MコンテキストでM2比prefill 9×、decode 15×の高速化を実現し、1トークン当たりの計算量を1/20に減らしています。推論モードはthinking(複雑な推論、エージェントタスク向け)とnon-thinking(チャットやコード補完など低レイテンシ向け)の2つです。Unslothは5-bit GGUFをUnsloth Studioで動かす例を示しています。

仕様

項目	値
アーキテクチャ	MoE + MSA
専門家数	128(トークンごとに4がアクティブ)
レイヤー数	60
コンテキスト長	1M tokens
モダリティ	Text, Image, Video
精度(元モデル)	bfloat16
ライセンス	MiniMax Community License

試し方・要件

llama.cppでのMiniMax-M3対応はpreliminaryの段階で、PR #24523からビルドします。

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24523/head:minimax-m3
git checkout minimax-m3
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j --target llama-cli llama-server

量子化版は次のように実行します。

./build/bin/llama-cli -hf unsloth/MiniMax-M3-GGUF:UD-IQ1_M

• モデルが約428Bと大きいため、-ngl 99 で複数GPUにオフロードするか、重みをCPU RAMに置きます。
• MSAはまだサポートされておらず、推論はdense attentionにフォールバックします。
• 推奨パラメータは temperature=1.0、top_p=0.95、top_k=40 です。
• Transformersで使う場合は ≥ 4.52.4 と trust_remote_code=True が必要です。
• 元の重みは hf download MiniMaxAI/MiniMax-M3 --local-dir MiniMax-M3 またはModelScopeから取得できます。MiniMax AgentやMiniMax APIからも利用できます。