huihui-ai、Xing4.0-29B-A4Bのabliterated版を公開

huihui-aiは、XingChen-AGIのXingChen-AGI/Xing4.0-29B-A4Bにabliterationを適用して拒否応答を除去したhuihui-ai/Huihui-Xing4.0-29B-A4B-abliteratedをHugging Faceで公開しています。huihui-aiは、abliterationで応答の拒否を減らした改変モデルを配布する開発者アカウントです。

何が新しいか

モデルカードは本モデルを元モデルの「uncensored version」と説明しています。手法はremove-refusals-with-transformersに基づき、TransformerLensを使わずにLLMから拒否応答を除去する、粗いproof-of-concept実装と位置付けています。ablation対象は0-based indexingでレイヤー5〜17です。pipeline_tagはtext-generation、ライセンスはapache-2.0です。

試し方

モデルカードは、Hugging Faceのtransformersライブラリで読み込むサンプルスクリプトを掲載しています。

• モデルIDにhuihui-ai/Huihui-Xing4.0-29B-A4B-abliteratedを指定し、AutoModelForCausalLM.from_pretrainedとAutoTokenizer.from_pretrainedで読み込みます。
• 読み込み時にtrust_remote_code=Trueとlow_cpu_mem_usage=Trueを指定します。
• dtypeはfloat16、bfloat16(デフォルト)、float32から選べます。
• device_mapはcpuやautoなどを指定でき、デフォルトはautoです。

サンプルはチャットテンプレート適用時にenable_thinkingを渡し、TextStreamerを拡張したストリーマーで初回トークンまでの遅延やtokens per secondなどを計測する構成になっています。