Unsloth、Qwen3.8-27BのDynamic V3.0 GGUF版を公開

スペック

総パラメータ27B
コンテキスト長262,144 natively and extensible up to 1,000,000 tokens
ライセンスapache-2.0
重みの公開GGUF
配布形式・量子化Dynamic V3.0 GGUF
4bit量子化の目安メモリ約16.2GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Unslothは、Qwen/Qwen3.8-27BをDynamic V3.0で量子化したGGUF版 unsloth/Qwen3.8-27B-GGUF を公開しました。同じサイズの他プロバイダー製量子化版と比べ、top-1%精度が10%以上高いとうたっています。

Unslothは、AIモデルの実行と学習のためのツール群で、量子化形式への出力やローカルモデルとコーディングエージェントの接続に対応します。

何が新しいか

Unslothによると、Dynamic V3.0 GGUFは主要なQwen3.8 GGUFプロバイダーとの比較で、同サイズにおいて全プロバイダーより10%以上高いtop-1%精度を示しました。あわせて、Qwen3.8をCodexなどのエージェントツールで使えるようにするDeveloper Roleサポートを加えています。また、ネストしたオブジェクトのパースを改善し、ツール呼び出しの成功率を上げたとしています。ライセンスはapache-2.0です。

ベースモデルの仕様

Qwen3.8-27BはQwen3.5のアーキテクチャを基盤とする27Bのdenseな因果言語モデルで、ビジョンエンコーダーを備え、画像と動画を理解します。コンテキスト長はネイティブで262,144 tokens、最大1,000,000 tokensまで拡張できます。

項目 値
隠れ次元 5120
レイヤー数 64
Hidden Layout 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))
Gated DeltaNet ヘッド V 48 / QK 16、Head Dim 128
Gated Attention ヘッド Q 24 / KV 4、Head Dim 256
FFN中間次元 17,408
Token Embedding 248,320 (Padded)
MTP 複数ステップで学習

原文は、コーディング、専門業務、研究、長時間のエージェントタスクでの改善、自律的な計画と環境フィードバック処理の強化を挙げています。

試し方と推奨設定

Unslothは実行手順を「Run Qwen3.8-27B Guide」で案内しています。Unsloth DesktopではThinking togglesを使ってQwen3.8を実行・ファインチューニングでき、Mac、Windows、Linux向けにダウンロードできます。

推奨サンプリング設定は次のとおりです。

モード temperature top_p top_k min_p presence_penalty repetition_penalty
Thinking 1.0 0.95 20 0.0 0.0 1.0
Instruct (non-thinking) 0.7 0.80 20 0.0 1.5 1.0
  • Thinking modeはデフォルトで有効で、リクエストごとに無効化できます。
  • reasoning_effort で推論の深さを調整でき、preserve_thinking で履歴メッセージの推論コンテキストを保持できます。
  • 対応フレームワークでは presence_penalty を0〜2で調整して無限反復を抑えられますが、高い値では言語混在やわずかな性能低下が起こる場合があります。
  • エージェントタスクでは十分な出力長の確保を推奨しており、対応フレームワークでは1Mコンテキスト長以内で推論と最終出力のトークン制限を別々に設定できます。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内