bartowski、180BのQwen3.8-Flash-NextをGGUF化しQ4_K_Mは119.60GB

bartowskiはHugging Faceで、Qwenの総パラメータ180BのモデルQwen3.8-Flash-Nextをllama.cpp向けにimatrix量子化したGGUF(bartowski/Qwen3.8-Flash-Next-GGUF)を公開しています。迷った場合の推奨はQ4_K_M(119.60GB)です。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、画像などを扱うマルチモーダルモデルも展開しています。

何が公開されたか

原モデルはQwen/Qwen3.8-Flash-Nextで、量子化にはllama.cpp release b10665を使っています。入力はテキストと画像に対応し、画像にはmmprojファイルが必要です。imatrixはあり、推測デコーディングには対応しません。メタデータ上のライセンスはother、pipeline_tagはimage-text-to-textです。掲載ファイルはすべて分割(Split: true)形式です。

主な量子化とファイルサイズ

量子化	サイズ	説明(原文)
bf16	354.03GB	Full BF16 weights
Q8_0	188.26GB	最大品質、通常は不要
Q6_K	168.11GB	near perfect、推奨
Q5_K_L	151.06GB	embed/outputにQ8_0、推奨
Q4_K_L	139.27GB	embed/outputにQ8_0、推奨
Q5_K_M	134.67GB	推奨
Q5_K_S	128.10GB	推奨
Q4_K_M	119.60GB	多くの用途の既定サイズ、推奨
Q3_K_XL	119.35GB	低RAM向け
Q4_K_S	113.14GB	推奨
Q4_1	111.26GB	Apple siliconでtokens/watt改善
Q2_K_L	107.15GB	非常に低品質だが使える
IQ4_XS	97.68GB	Q4_K_Sより小さく同等性能、推奨
IQ3_M	93.23GB	Q3_K_M相当
IQ3_XXS	88.02GB	Q3系相当
Q2_K	80.93GB	Very low quality

ほかにQ4_0(100.60GB)、IQ4_NL(100.29GB)、Q3_K_L(93.19GB)、Q3_K_M(91.96GB)、IQ3_XS(91.95GB)、Q3_K_S(89.44GB、非推奨)があります。

試し方

llama.cppでGGUFを読み込んで使います。画像入力にはmmprojファイルを併せて用意します。ダウンロードはHugging Face CLIの手順がモデルページに掲載されています。プロンプト形式はsystem → user → assistantの順で、systemには次の文言を含む形が示されています。

Reasoning effort is set to xhigh. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.