Liquid AI、LFM2.5-24B-A2BのGGUF版をQAD版Q4_0付きで公開

Liquid AIは、Hugging Face上でLiquidAI/LFM2.5-24B-A2B-GGUFを提供しています。同リポジトリのQ4_0ビルドは、Q4_0量子化で失われた精度を回復するよう学習したQuantization-Aware Distillation(QAD)チェックポイントです。

Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、パソコンや携帯端末などへの実装を対象にLiquid Foundation Modelsを展開しています。

QAD版Q4_0の位置づけ

リポジトリ内のQ4_0ファイルはLFM2.5-24B-A2B-QAD-Q4_0.ggufです。通常の量子化ではなく、Q4_0量子化による精度低下を取り戻すことを目的に学習したチェックポイントとして配布しています。ベースモデルはLiquidAI/LFM2.5-24B-A2B、ライセンスはotherです。

llama.cppでの試し方

既定のファイルで実行する場合:

llama-cli -hf LiquidAI/LFM2.5-24B-A2B-GGUF \
  --temp 0.1 --top-k 50 --repeat-penalty 1.05

QAD版Q4_0を指定する場合:

llama-cli -hf LiquidAI/LFM2.5-24B-A2B-GGUF \
  --hf-file LFM2.5-24B-A2B-QAD-Q4_0.gguf \
  --temp 0.1 --top-k 50 --repeat-penalty 1.05

このサンプリング設定はベースモデルのgeneration_config.jsonで推奨された値です。各GGUFは同じ値をgeneral.sampling.*メタデータとして持っており、llama.cppはそれをデフォルトで適用します。

背景

Liquid AIはLFM2を、エッジAIとオンデバイス展開向けに設計したハイブリッドモデルの新世代と位置づけ、品質・速度・メモリ効率を重視していると説明しています。詳細は元モデルカードhttps://huggingface.co/LiquidAI/LFM2.5-24B-A2Bにまとめられています。