QwenはHugging Faceで、Qwen3.6シリーズ最初のオープンウェイトモデルQwen/Qwen3.6-27BをApache-2.0ライセンスで公開しました。27Bのモデルで、SWE-bench Verifiedは77.2です。ネイティブのコンテキスト長は262,144トークンで、1,010,000トークンまで拡張できます。
QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。
何が新しいか
Qwenは、2月に公開したQwen3.5シリーズに続く版としてQwen3.6を位置づけています。コミュニティからのフィードバックをもとに、安定性と実用性を優先したとしています。主な強化点は次の2つです。
- Agentic Coding: フロントエンドのワークフローとリポジトリレベルの推論を強化しました。
- Thinking Preservation: 過去のメッセージの推論コンテキストを保持する新しいオプションを追加しました。Qwenは、反復的な開発を効率化し、オーバーヘッドを減らす目的を挙げています。
モデル種別はビジョンエンコーダーを備えた因果言語モデルで、パイプラインタグはimage-text-to-textです。
アーキテクチャ
| 項目 | 値 |
|---|---|
| Hidden Dimension | 5120 |
| レイヤー数 | 64 |
| Hidden Layout | 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN)) |
| Gated DeltaNet ヘッド数 | Vが48、QKが16(Head Dim 128) |
| Gated Attention ヘッド数 | Qが24、KVが4(Head Dim 256) |
| RoPE次元 | 64 |
| FFN中間次元 | 17408 |
| 語彙(Embedding/LM Output) | 248320(Padded) |
| MTP | multi-stepsで学習 |
コーディングエージェント系ベンチマーク
| ベンチマーク | Qwen3.5-27B | Qwen3.5-397B-A17B | Gemma4-31B | Claude 4.5 Opus | Qwen3.6-35B-A3B | Qwen3.6-27B |
|---|---|---|---|---|---|---|
| SWE-bench Verified | 75.0 | 76.2 | 52.0 | 80.9 | 73.4 | 77.2 |
| SWE-bench Pro | 51.2 | 50.9 | 35.7 | 57.1 | 49.5 | 53.5 |
| SWE-bench Multilingual | 69.3 | 69.3 | 51.7 | 77.5 | 67.2 | 71.3 |
3つのベンチマークすべてで、Qwen3.6-27BはQwen3.5-397B-A17BとQwen3.6-35B-A3Bを上回っています。Claude 4.5 Opusには届いていません。
提供形式と対応環境
リポジトリには、ポストトレーニング済みモデルの重みと設定ファイルがHugging Face Transformers形式で含まれています。Hugging Face Transformers、vLLM、SGLang、KTransformersなどで利用できます。
vLLMは、PagedAttentionや連続バッチ処理を備え、OpenAI互換APIでモデルを配信できる推論ライブラリです。SGLangは、RadixAttentionなどを備えたLMSYSの推論フレームワークです。

まだコメントはありません。