QwenはHugging Face上で、視覚エンコーダー付き因果言語モデルQwen/Qwen3.5-27Bのモデル重みと設定ファイルをHugging Face Transformers形式で公開しました。総パラメータ数は27B、ネイティブのコンテキスト長は262,144トークンで、1,010,000トークンまで拡張できます。ライセンスはapache-2.0です。
QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、重みの公開やマルチモーダルモデルの展開を行っています。
何が新しいか
Qwen3.5はマルチモーダルトークンの早期融合学習を用いる視覚・言語基盤モデルです。原文によると、この学習でQwen3と世代をまたいで同等の性能に達し、推論、コーディング、エージェント、視覚理解のベンチマークでQwen3-VLを上回るとしています。アーキテクチャはGated Delta NetworksとスパースMixture-of-Expertsを組み合わせたハイブリッド構成で、高スループットな推論と、低いレイテンシー・コストオーバーヘッドを狙っています。強化学習は100万エージェント規模の環境まで拡大しており、対応言語・方言は201です。
構成と数値
言語モデル部分の主な仕様は次のとおりです。
| 項目 | 値 |
|---|---|
| 隠れ次元 | 5120 |
| レイヤー数 | 64 |
| レイアウト | 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN)) |
| Gated DeltaNetヘッド | Vが48、QKが16(ヘッド次元128) |
| Gated Attentionヘッド | Qが24、KVが4(ヘッド次元256) |
| RoPE次元 | 64 |
| FFN中間次元 | 17408 |
| 語彙(埋め込み/出力) | 248320(パディング済み) |
| MTP | multi-stepsで学習 |
原文のベンチマーク表では、Qwen3.5-27BのMMLU-Proは86.1、MMLU-Reduxは93.2です。同じ表のQwen3-235B-A22Bは84.4と93.8、GPT-OSS-120Bは80.8と91.0、Qwen3.5-35B-A3Bは85.3と93.3です。
利用方法・対応環境
リポジトリには事後学習済みモデルの重みと設定ファイルがTransformers形式で含まれます。原文はHugging Face Transformers、vLLM、SGLang、KTransformersなどとの互換性を挙げています。pipeline_tagはimage-text-to-textです。vLLMとSGLangはいずれも、OpenAI互換APIでモデルを配信できる推論フレームワークです。

まだコメントはありません。