QwenはHugging Face上で、総パラメータ35B・活性パラメータ3BのMoEモデル Qwen/Qwen3.5-35B-A3B のポストトレーニング済み重みと設定ファイルをTransformers形式で公開しました。ライセンスはapache-2.0で、MMLU-Proのスコアは85.3です。
QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。
何が新しいか
Qwen3.5-35B-A3Bは、ビジョンエンコーダーを備えた因果言語モデルです(pipeline_tag は image-text-to-text、base_model は Qwen/Qwen3.5-35B-A3B-Base)。原文はQwen3.5の特徴として次を挙げています。
- マルチモーダルトークンでのearly fusion学習。Qwen3と同等の水準に達し、推論・コーディング・エージェント・視覚理解のベンチマークでQwen3-VLを上回るとしています
- Gated Delta Networksと疎なMixture-of-Expertsを組み合わせたハイブリッド構成
- 数百万エージェント規模の環境に拡大した強化学習
- 201の言語・方言への対応
アーキテクチャと数値
| 項目 | 値 |
|---|---|
| レイヤー数 | 40 |
| Hidden Dimension | 2048 |
| Hidden Layout | 10 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)) |
| Gated DeltaNet | 線形アテンションヘッド V:32 / QK:16、ヘッド次元128 |
| Gated Attention | Q:16 / KV:2ヘッド、ヘッド次元256、RoPE次元64 |
| エキスパート数 | 256 |
| 活性化エキスパート | 8 Routed + 1 Shared |
| エキスパート中間次元 | 512 |
| Token Embedding / LM Output | 248320(Padded) |
| MTP | multi-stepsで学習 |
| コンテキスト長 | 262,144(標準)、1,010,000 tokensまで拡張可 |
原文の言語ベンチマーク表では、MMLU-ProでQwen3.5-35B-A3Bが85.3、GPT-5-mini(2025-08-07)が83.7、GPT-OSS-120Bが80.8、Qwen3-235B-A22Bが84.4、Qwen3.5-122B-A10Bが86.7、Qwen3.5-27Bが86.1です。
試し方・提供条件
公開物はHugging Face Transformers形式で、Transformers、vLLM、SGLang、KTransformersなどで利用できます。vLLMはPagedAttentionや連続バッチ処理を備えた推論・API配信ライブラリ、SGLangはLMSYSのもとで公開されている推論フレームワークです。
インフラを保守しないマネージド推論向けには、Alibaba Cloud Model Studioが公式Qwen APIサービスを提供しています。本モデルに対応するホステッド版は Qwen3.5-Flash で、標準で1Mのコンテキスト長と公式の組み込みツールなど、本番向けの機能を追加しています。

まだコメントはありません。