Qwen、総35B・活性3BのMoE「Qwen3.5-35B-A3B」を公開

スペック

総パラメータ35B
活性パラメータ3B
コンテキスト長262,144 natively and extensible up to 1,010,000 tokens
ライセンスapache-2.0
重みの公開Hugging Face Transformers形式のモデル重みと設定ファイル
4bit量子化の目安メモリ約21GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

QwenはHugging Face上で、総パラメータ35B・活性パラメータ3BのMoEモデル Qwen/Qwen3.5-35B-A3B のポストトレーニング済み重みと設定ファイルをTransformers形式で公開しました。ライセンスはapache-2.0で、MMLU-Proのスコアは85.3です。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。

何が新しいか

Qwen3.5-35B-A3Bは、ビジョンエンコーダーを備えた因果言語モデルです(pipeline_tag は image-text-to-text、base_model は Qwen/Qwen3.5-35B-A3B-Base)。原文はQwen3.5の特徴として次を挙げています。

  • マルチモーダルトークンでのearly fusion学習。Qwen3と同等の水準に達し、推論・コーディング・エージェント・視覚理解のベンチマークでQwen3-VLを上回るとしています
  • Gated Delta Networksと疎なMixture-of-Expertsを組み合わせたハイブリッド構成
  • 数百万エージェント規模の環境に拡大した強化学習
  • 201の言語・方言への対応

アーキテクチャと数値

項目 値
レイヤー数 40
Hidden Dimension 2048
Hidden Layout 10 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))
Gated DeltaNet 線形アテンションヘッド V:32 / QK:16、ヘッド次元128
Gated Attention Q:16 / KV:2ヘッド、ヘッド次元256、RoPE次元64
エキスパート数 256
活性化エキスパート 8 Routed + 1 Shared
エキスパート中間次元 512
Token Embedding / LM Output 248320(Padded)
MTP multi-stepsで学習
コンテキスト長 262,144(標準)、1,010,000 tokensまで拡張可

原文の言語ベンチマーク表では、MMLU-ProでQwen3.5-35B-A3Bが85.3、GPT-5-mini(2025-08-07)が83.7、GPT-OSS-120Bが80.8、Qwen3-235B-A22Bが84.4、Qwen3.5-122B-A10Bが86.7、Qwen3.5-27Bが86.1です。

試し方・提供条件

公開物はHugging Face Transformers形式で、Transformers、vLLM、SGLang、KTransformersなどで利用できます。vLLMはPagedAttentionや連続バッチ処理を備えた推論・API配信ライブラリ、SGLangはLMSYSのもとで公開されている推論フレームワークです。

インフラを保守しないマネージド推論向けには、Alibaba Cloud Model Studioが公式Qwen APIサービスを提供しています。本モデルに対応するホステッド版は Qwen3.5-Flash で、標準で1Mのコンテキスト長と公式の組み込みツールなど、本番向けの機能を追加しています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内