huihui-aiは、zai-org/GLM-5.3をabliterationで改変した「Huihui-GLM-5.3-abliterated-GGUF」をHugging Faceで公開しました。abliterated済みの量子化重みは直接配布せず、UD-IQ1_M、UD-IQ1_S、UD-IQ2_M、UD-Q2_K_XLの量子化重みに当てる6.45GBと102.23GBの2種類のパッチとして提供しています。
huihui.aiは、応答の拒否を減らすabliterationを適用したモデルをHugging Faceで配布している開発者アカウントです。GLMはZ.aiが開発するAIモデルのファミリーです。
何が新しいか
huihui-aiは、abliterationをTransformersを使わずllama.cppのGGUFモデルだけで実行しました。手法はllama.cppのcvector-generatorのREADMEに基づきます。ライセンスはMITです。
配布方法も変わっています。原文によると、パッチの元となるシリーズはunsloth/GLM-5.3-GGUFです。今回はabliterated済みの量子化重みを置かず、利用者がコマンドでパッチを当てる形式で、原文は容量節約を理由に挙げています。パッチプログラムは入力された量子化モデルの重みに合わせて、適切なablated重みを自動で選びます。
パッチの種類とablate-expertsの値
| パッチ | サイズ | 対応するablated重み | --ablate-expertsの値 |
|---|---|---|---|
Huihui-GLM-5.3-abliterated-GGUF-patch-Q2-1.gguf |
6.45GB | attn_output、ffn_down_shexp | 0、1 |
Huihui-GLM-5.3-abliterated-GGUF-patch-Q2-2.gguf |
102.23GB | attn_output、ffn_down_shexp、ffn_down_exps | 0、1、2 |
2つのパッチは、どちらもUD-IQ1_M、UD-IQ1_S、UD-IQ2_M、UD-Q2_K_XLに対応します。
| 値 | ablateされる重み | ablation strength |
|---|---|---|
| 0 | attn_output | with warnings |
| 1 | attn_output、ffn_down_shexp | fewer warnings |
| 2 | attn_output、ffn_down_shexp、ffn_down_exps | no warnings(patch-Q2-2のみ) |
ablation strengthは、ablateするレイヤー数によっても変わる場合があります。
試し方
- 手順はリポジトリ内の
patch-unsloth-Q2/README-Unsloth.mdに従います。 --start-layerと--end-layerで対象レイヤーを、--ablate-expertsで対象重みを指定します。- expert ablationが不要なら
patch-Q2-1、必要ならpatch-Q2-2を使います。原文の記載時点でpatch-Q2-2はアップロード中のため、huihui-aiはまずpatch-Q2-1での試用を案内しています。
利用上の注意
huihui-aiによると、本モデルは安全フィルタリングを大幅に低減しており、敏感・論争的・不適切な出力を生成する可能性があります。huihui-aiは研究・テスト・管理された環境での利用を推奨し、本番環境や一般向け商用アプリでの直接利用を避けるよう求めています。利用者は現地法と倫理基準を守り、出力を監視・確認する責任を負います。
まだコメントはありません。