Qwen、Qwen3.6-27Bを公開 SWE-bench Verified 77.2

スペック

総パラメータ27B
コンテキスト長262,144 natively and extensible up to 1,010,000 tokens
ライセンスapache-2.0
重みの公開オープンウェイト
4bit量子化の目安メモリ約16.2GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

QwenはHugging Faceで、Qwen3.6シリーズ最初のオープンウェイトモデルQwen/Qwen3.6-27BをApache-2.0ライセンスで公開しました。27Bのモデルで、SWE-bench Verifiedは77.2です。ネイティブのコンテキスト長は262,144トークンで、1,010,000トークンまで拡張できます。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。

何が新しいか

Qwenは、2月に公開したQwen3.5シリーズに続く版としてQwen3.6を位置づけています。コミュニティからのフィードバックをもとに、安定性と実用性を優先したとしています。主な強化点は次の2つです。

  • Agentic Coding: フロントエンドのワークフローとリポジトリレベルの推論を強化しました。
  • Thinking Preservation: 過去のメッセージの推論コンテキストを保持する新しいオプションを追加しました。Qwenは、反復的な開発を効率化し、オーバーヘッドを減らす目的を挙げています。

モデル種別はビジョンエンコーダーを備えた因果言語モデルで、パイプラインタグはimage-text-to-textです。

アーキテクチャ

項目 値
Hidden Dimension 5120
レイヤー数 64
Hidden Layout 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))
Gated DeltaNet ヘッド数 Vが48、QKが16(Head Dim 128)
Gated Attention ヘッド数 Qが24、KVが4(Head Dim 256)
RoPE次元 64
FFN中間次元 17408
語彙(Embedding/LM Output) 248320(Padded)
MTP multi-stepsで学習

コーディングエージェント系ベンチマーク

ベンチマーク Qwen3.5-27B Qwen3.5-397B-A17B Gemma4-31B Claude 4.5 Opus Qwen3.6-35B-A3B Qwen3.6-27B
SWE-bench Verified 75.0 76.2 52.0 80.9 73.4 77.2
SWE-bench Pro 51.2 50.9 35.7 57.1 49.5 53.5
SWE-bench Multilingual 69.3 69.3 51.7 77.5 67.2 71.3

3つのベンチマークすべてで、Qwen3.6-27BはQwen3.5-397B-A17BとQwen3.6-35B-A3Bを上回っています。Claude 4.5 Opusには届いていません。

提供形式と対応環境

リポジトリには、ポストトレーニング済みモデルの重みと設定ファイルがHugging Face Transformers形式で含まれています。Hugging Face Transformers、vLLM、SGLang、KTransformersなどで利用できます。

vLLMは、PagedAttentionや連続バッチ処理を備え、OpenAI互換APIでモデルを配信できる推論ライブラリです。SGLangは、RadixAttentionなどを備えたLMSYSの推論フレームワークです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内