huihui-aiは、Aleph-Alpha/Kolibri-1をabliterationで無検閲化したHuihui-Kolibri-1-abliterated-GGUFをHugging Faceで公開しています。標準のllama.cppはkolibri1アーキテクチャに未対応のため、同梱パッチをupstream commit 836d571に当てて使います。
huihui.aiは、応答の拒否を減らすabliterationを適用した言語モデルの改変版をHugging Faceで配布する開発者アカウントです。
何が新しいか
huihui-aiはabliterationをTransformersを使わず、llama.cppのGGUFモデルだけで実施しました。具体的な手法はllama.cppのcvector-generatorのREADMEを参照するよう案内しています。GGUFはHob-forge/Kolibri-1-GGUF由来で、ライセンスはapache-2.0、量子化はQ4_K_Mです。タグにはreasoning、moeが付いています。
試し方
リポジトリに含まれるkolibri1-llama.cpp.patchを適用してビルドします。
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
git checkout 836d571
git am /path/to/kolibri1-llama.cpp.patch
cmake -B build -DCMAKE_BUILD_TYPE=Release # GPU利用時は -DGGML_CUDA=ON などを追加
cmake --build build -j --target llama-server llama-cli
実行例はコンテキスト長262144です。
llama-cli -m huihui-ai/Huihui-Kolibri-1-abliterated-GGUF/Huihui-Kolibri-1-abliterated-Q4_K_M.gguf -c 262144
利用上の注意
モデルカードによると、このモデルは安全性フィルタリングが大幅に削減され、厳密な安全性最適化を受けていません。機微・物議を醸す・不適切な出力を生成する可能性があり、公開の場、未成年ユーザー、高いセキュリティが必要な用途には適さない可能性があります。huihui-aiは研究、テスト、管理された環境での利用を推奨し、本番や一般公開の商用用途を避けること、出力のリアルタイム監視と必要に応じた手動レビューを求めています。法令・倫理基準への適合と結果の責任は利用者が負うとしています。
まだコメントはありません。