Qwen、総2.4T・活性95BのMoE「Qwen3.8-2.4T-A95B」を公開

QwenはHugging Faceで、総パラメータ2.4T・活性パラメータ95BのMoEモデル Qwen/Qwen3.8-2.4T-A95B をオープンウェイトで公開しました。Qwen-Maxクラスのモデルをオープンリリースするのは初めてで、Terminal Bench 2.1で86.6、SWE-bench Proで67.7を記録しています。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。

何が新しいか

QwenはQwen3.8を、同社のオープンモデルファミリーで最も高性能な世代と位置づけています。Qwen3.5のアーキテクチャを土台に、コーディング、専門業務、研究、長期のエージェントタスクを強化しました。自律的な計画と環境フィードバックの扱いを改善し、複数ステップのタスクを最後までやり遂げる信頼性を高めたとしています。一般的なハーネスや開発ツールへの対応も広げました。

アーキテクチャ

ネイティブのコンテキスト長は262,144トークンで、最大1,010,000トークンまで拡張できます。

項目	値
隠れ次元	8192
レイヤー数	92
レイアウト	23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))
Gated DeltaNet	線形アテンションヘッド V:128 / QK:16、ヘッド次元128
Gated Attention	Q:64 / KV:4ヘッド、ヘッド次元256、RoPE次元64
エキスパート数	512
活性化エキスパート	10 Routed + 1 Shared
エキスパート中間次元	2048
語彙(埋め込み/出力)	248,320(パディング込み)
MTP	複数ステップで学習

ベンチマーク

モデル	Terminal Bench 2.1	SWE-bench Pro
Opus 4.8	84.6	69.2
Fable 5	84.6	80.0
GPT 5.6 Sol (max)	88.8	64.6
Qwen3.7-Max	74.5	60.6
Qwen3.8-Max	86.6	67.7

試し方・提供条件

リポジトリにはポストトレーニング済みモデルの重みと設定ファイルがHugging Face Transformers形式で入っており、vLLM、SGLang、TokenSpeedなどで動かせます。ライセンス表記は other です。推論の深さは reasoning_effort で調整でき、過去メッセージの推論コンテキストは preserve_thinking で保持できます。

Qwenはマネージド推論向けに公式APIをQwen Cloudで提供しています。公式版のQwen3.8-Maxは本モデルを基盤とし、ビジョン入力、non-thinkingモード、デフォルト1Mコンテキスト、公式の組み込みツールを備えます。