huihui-aiは、Qwen/Qwen3.8-Flash-Nextをベースにabliterationで拒否応答を除去した「Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF」をHugging Faceで公開しています。量子化はUD-Q4_K_XLで、コンテキスト長262144での実行例が示されています。
huihui.aiはHugging Faceで言語モデルの改変版を公開する開発者アカウントで、応答の拒否を減らすabliterationを適用したモデルを配布しています。
v2で変わった点
huihui-aiによると、本モデルはTransformerLensを使わずにLLMから拒否応答を取り除く、粗い概念実証的な実装です。初版(Huihui-Qwen3.8-Flash-Next-abliterated-GGUF)と比べてアブレーションの重点を調整し、専門家(experts)はいずれもアブレーションしていません。用途としては小説執筆とプログラミングに適すると説明しています。GGUFはUnslothのunsloth/Qwen3.8-Flash-Next-GGUFシリーズに由来し、ライセンスはotherです。
試し方
最新のllama.cppを使い、次のコマンドで実行します。
llama-cli -m huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF/UD-Q4_K_XL/Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf -c 262144
GGUFは00001-of-00004の4分割ファイルです。Unslothシリーズは最新版のStrataにも対応しており、Strataはバイトレベルおよび SHA256の検証を行います。モデルカードは、setup.pyのverify_sha256関数を即座にreturnするよう書き換えれば検証を省けると記していますが、これはテスト・検証目的としています。
利用上の注意
huihui-aiは、本モデルの安全フィルタリングが大幅に低減されており、機微・論争的・不適切な出力を生成するおそれがあるとしています。厳格な安全最適化を経ていないため、出力のリアルタイム監視と必要に応じた手動レビューを推奨しています。用途は研究、テスト、管理された環境に限ることを勧め、本番環境や一般公開の商用アプリケーションへの直接利用は避けるよう求めています。現地の法律と倫理基準への適合、および生成結果の責任は利用者が負うとしています。
まだコメントはありません。