Qwen、画像・動画対応の密モデルQwen3.8-27Bを公開

QwenはHugging Faceで、画像と動画を入力できる27Bの密モデル「Qwen3.8-27B」をApache-2.0ライセンスで公開しました。コンテキスト長はネイティブで262,144トークン、最大1,000,000トークンまで拡張できます。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、重みを公開し、密な構造と専門家混合型のモデルを提供しています。

何が新しいか

QwenはQwen3.8を「Qwenオープンモデルファミリーで最も高性能な世代」と位置づけ、Qwen3.5のアーキテクチャを基盤にしていると説明しています。27Bはその成果をデプロイしやすい密モデルにまとめたもので、主な強化点は次のとおりです。

• コーディング、専門業務、研究、長期的なエージェントタスクの全般的な改善
• 自律的な計画と環境フィードバックへの対応の強化
• 主要なハーネスや開発ツールへの対応拡大
• STEMの図表や文書から1時間規模の動画までを扱う、ネイティブな視覚・言語理解

思考モードはデフォルトで有効で、リクエストごとに無効化できます。reasoning_effortで推論の深さを調整でき、preserve_thinkingを使うと過去メッセージの推論コンテキストを保持します。

アーキテクチャ

Qwen3.8-27Bは、言語モデルにビジョンエンコーダーを組み合わせた構成です。64層の隠れ層は16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))というレイアウトで、線形アテンションのGated DeltaNetと、Gated Attentionを3:1で組み合わせています。MTP(Multi-Token Prediction)は複数ステップで学習しています。

項目	値
隠れ層の次元数	5120
レイヤー数	64
埋め込み / LM出力トークン数	248,320 (Padded)
Gated DeltaNet ヘッド数	V: 48 / QK: 16(ヘッド次元128)
Gated Attention ヘッド数	Q: 24 / KV: 4(ヘッド次元256)
RoPE次元	64
FFN中間次元	17,408

公開されたベンチマークのうち、Terminal Bench 2.1(Terminus)ではQwen3.8-27Bが73.0を記録しています。

試し方・対応環境

リポジトリQwen/Qwen3.8-27Bには、事後学習済みモデルの重みと設定ファイルがHugging Face Transformers形式で収録されています。Hugging Face Transformers、vLLM、SGLang、TokenSpeedなどで利用できます。

このほかQwenは、Qwen Cloudでホスト版の提供を予定しています。ホスト版は1Mコンテキスト長をデフォルトとし、公式の組み込みツールを備えますが、サービスはまだ準備中です。