huihui-ai、DeepSeek-V4.1-Flashのabliterated版GGUFを公開

huihui-aiは、deepseek-ai/DeepSeek-V4.1-Flash-1017をベースにabliterationで安全フィルタリングを低減した「Huihui-DeepSeek-V4.1-Flash-1017-abliterated」のGGUF版をHugging Faceで公開しました。abliterationの対象はレイヤー11〜28で、変更した重みはそれらのレイヤーのattn_output_bテンソル計18個です。

huihui.aiは、Hugging Faceで言語モデルの改変版を公開する開発者アカウントで、応答の拒否を減らすabliterationを適用したモデルを配布しています。

何を変えたか

huihui-aiはTransformersを使わず、llama.cppのGGUFモデルだけでabliterationを実施しました。手法はllama.cppのcvector-generatorを参照するよう案内しています。

項目	内容
対象レイヤー	11〜28(0-based indexing)
変更した重み	attn_output_bテンソル 計18個のみ
エキスパート	ablatedしていない
その他の重み	変更なし

UD-シリーズの量子化ファイルはunsloth/DeepSeek-V4.1-Flash-1017-GGUF由来です。ライセンスはMITです。

試し方

モデルカードは、llama.cppのプルリクエストpull/30817のブランチをCUDA有効でビルドする手順を示しています。

1. apt-get updateの後、apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git -yで依存パッケージを入れる
2. git clone https://github.com/ggml-org/llama.cpp
3. git -C llama.cpp fetch origin pull/30817/head:deepseek41とgit -C llama.cpp checkout deepseek41
4. cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
5. cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
6. cp llama.cpp/build/bin/llama-* llama.cpp

実行例はUD-IQ1_S(5分割)を262144のコンテキスト長で起動するものです。

llama-cli -m huihui-ai/Huihui-DeepSeek-V4.1-Flash-1017-abliterated/UD-IQ1_S/DeepSeek-V4.1-Flash-1017-UD-IQ1_S-00001-of-00005.gguf -c 262144

利用上の注意

huihui-aiは、敏感・物議を醸す・不適切な出力のリスクがあり、公開環境や未成年者向け、高いセキュリティが求められる用途には適さないと警告しています。厳格な安全最適化は施しておらず、研究・テスト・管理された環境での利用を推奨し、本番環境や一般公開の商用利用は避けるよう求めています。法令・倫理基準への準拠と生成結果の責任は利用者が負うとしています。