Moonshot AI、総2.8T・活性104BのKimi K3.1 Proの重みを公開

Moonshot AIは、総パラメータ2.8T・活性パラメータ104BのMoEモデル「Kimi K3.1 Pro」の重みをHugging Face(moonshotai/Kimi-K3.1-Pro)で公開しました。コンテキスト長は1048576トークンで、テキストと画像を入力できるネイティブマルチモーダルなエージェントモデルです。

Moonshot AIは北京に拠点を置き、Kimiモデル群を開発するAI企業です。

何が新しいか

Kimi K3.1 ProはK3.1シリーズの最初のモデルです。Moonshot AIは、Kimi K3から数百の下流ドメインにまたがる大規模な共同強化学習でポストトレーニングしたと説明しています。同社は「これまでで最も高性能な3Tクラスのモデル」と位置づけ、コーディング、3D生成、金融リサーチ、事実の正確性などの改善を挙げています。アーキテクチャ面では、Kimi K3のフルアテンションのGated MLA層をGated DeepSeek Sparse Attention(Gated DSA)層に置き換え、長文脈モデリングの効率を高めたとしています。

仕様

項目	値
レイヤー数	93(うちDense層1)
アテンション構成	69 KDA + 24 Gated DSA
エキスパート数	896(共有エキスパート2)
トークンごとの選択エキスパート	16
語彙サイズ	160K
ビジョンエンコーダー	MoonViT-V2(401M)
量子化	MXFP4 weights / MXFP8 activations(QAT)
ライセンス	kimi-k3.1-pro

ベンチマーク

評価は特記がない限りreasoning effort max、temperature 1.0、top-p 0.95の設定です。

ベンチマーク	Kimi K3.1 Pro
Terminal-Bench 4.0	65.7
SWE Marathon v1.1	51.7
BrowseComp	92.1
GPQA-Diamond	94.2

Moonshot AIは、Terminal-Bench 4.0をClaude Code harnessで評価しています。PostTrainBench v1.2については、Claude CodeとH20 GPUを使って評価しています。

試し方

• Transformers: pip install -U transformers accelerateの後、pipeline("image-text-to-text", model="moonshotai/Kimi-K3.1-Pro", trust_remote_code=True)またはAutoModelForSeq2SeqLM.from_pretrained("moonshotai/Kimi-K3.1-Pro", trust_remote_code=True, device_map="auto")
• vLLM: pip install vllmの後、vllm serve "moonshotai/Kimi-K3.1-Pro"
• SGLang: pip install sglangの後、python3 -m sglang.launch_server --model-path "moonshotai/Kimi-K3.1-Pro" --host 0.0.0.0 --port 30000
• SGLangのDockerイメージ(lmsysorg/sglang:latest): --gpus all、--shm-size 32g、--ipc=hostなどを指定して起動
• Docker Model Runner: docker model run hf.co/moonshotai/Kimi-K3.1-Pro

vLLMとSGLangはOpenAI互換API(/v1/chat/completions)を提供し、image_urlを含むメッセージで画像入力を送れます。vLLMはPagedAttentionや分散推論を備えた推論・API配信ライブラリです。