huihui-ai、Qwen3.6-35B-A3Bの非検閲MTP版GGUFを公開

huihui-aiは、Qwen/Qwen3.6-35B-A3Bにabliterationを適用した非検閲版「Huihui-Qwen3.6-35B-A3B-abliterated-MTP-GGUF」をHugging Faceで公開しています。配布形式はQ4_KのGGUFで、llama.cppのMTPドラフト(最大ドラフト長6)を使う実行例が付いています。

huihui.aiは、Hugging Faceで言語モデルの改変版を公開する開発者アカウントで、応答の拒否を減らすabliterationを適用したモデルを配布しています。

何が新しいか

ベースは総パラメータ35B、活性パラメータ3BのQwen3.6-35B-A3Bで、ライセンスはapache-2.0です。pipeline_tagはimage-text-to-textです。モデルカードによると、このモデルはTransformerLensを使わずにLLMから拒否応答を除去する、粗い概念実証(crude, proof-of-concept)として作成されました。名称の「MTP」に対応して、実行例では--spec-type draft-mtpによる投機的デコードを指定しています。

試し方・要件

huihui-aiは最新版のggml-org/llama.cppの利用を求めています。示されたビルド手順は次の通りです(CUDA有効)。

1. apt-get update
2. apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
3. git clone https://github.com/ggml-org/llama.cpp
4. cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
5. cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
6. cp llama.cpp/build/bin/llama-* llama.cpp

実行例では、Huihui-Qwen3.6-35B-A3B-abliterated-ggml-model-Q4_K.ggufをllama-cliで読み込みます。

オプション	値	内容
-ngl	99	GPUオフロード層数
-c	262144	コンテキスト長
-fa	on	Flash Attention
-np	1	並列数
--spec-type	draft-mtp	MTPによるドラフト
--spec-draft-n-max	6	最大ドラフト長

利用上の注意

huihui-aiは、安全フィルタリングを大幅に削減しているため、敏感・物議を醸す・不適切な出力が生じるリスクがあると警告しています。標準モデルのような安全性保証はありません。用途は研究、テスト、管理された環境を推奨し、本番環境や一般公開の商用アプリケーションでの直接利用は避けるよう求めています。出力のリアルタイム監視と必要に応じた手動レビューも推奨しています。現地の法律・倫理基準への適合と生成物の結果については利用者が責任を負い、huihui.aiは責任を負わないとしています。