Qwen3.5-27B、262Kコンテキストの視覚言語モデルを公開

スペック

総パラメータ27B
コンテキスト長262,144 natively and extensible up to 1,010,000 tokens
ライセンスapache-2.0
重みの公開モデル重みを公開(Hugging Face Transformers形式)
4bit量子化の目安メモリ約16.2GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

QwenはHugging Face上で、視覚エンコーダー付き因果言語モデルQwen/Qwen3.5-27Bのモデル重みと設定ファイルをHugging Face Transformers形式で公開しました。総パラメータ数は27B、ネイティブのコンテキスト長は262,144トークンで、1,010,000トークンまで拡張できます。ライセンスはapache-2.0です。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、重みの公開やマルチモーダルモデルの展開を行っています。

何が新しいか

Qwen3.5はマルチモーダルトークンの早期融合学習を用いる視覚・言語基盤モデルです。原文によると、この学習でQwen3と世代をまたいで同等の性能に達し、推論、コーディング、エージェント、視覚理解のベンチマークでQwen3-VLを上回るとしています。アーキテクチャはGated Delta NetworksとスパースMixture-of-Expertsを組み合わせたハイブリッド構成で、高スループットな推論と、低いレイテンシー・コストオーバーヘッドを狙っています。強化学習は100万エージェント規模の環境まで拡大しており、対応言語・方言は201です。

構成と数値

言語モデル部分の主な仕様は次のとおりです。

項目 値
隠れ次元 5120
レイヤー数 64
レイアウト 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))
Gated DeltaNetヘッド Vが48、QKが16(ヘッド次元128)
Gated Attentionヘッド Qが24、KVが4(ヘッド次元256)
RoPE次元 64
FFN中間次元 17408
語彙(埋め込み/出力) 248320(パディング済み)
MTP multi-stepsで学習

原文のベンチマーク表では、Qwen3.5-27BのMMLU-Proは86.1、MMLU-Reduxは93.2です。同じ表のQwen3-235B-A22Bは84.4と93.8、GPT-OSS-120Bは80.8と91.0、Qwen3.5-35B-A3Bは85.3と93.3です。

利用方法・対応環境

リポジトリには事後学習済みモデルの重みと設定ファイルがTransformers形式で含まれます。原文はHugging Face Transformers、vLLM、SGLang、KTransformersなどとの互換性を挙げています。pipeline_tagはimage-text-to-textです。vLLMとSGLangはいずれも、OpenAI互換APIでモデルを配信できる推論フレームワークです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内