Liquid AIは、LFM2.5-24B-A2B-DSparkのllama.cpp向けGGUF版LFM2.5-24B-A2B-DSpark-GGUFをHugging Faceで公開しました。中身はドラフターのみを収めた664 MBのdraft sidecarで、ターゲットのLFM2.5-24B-A2B-GGUFと組み合わせて投機的デコードに使います。
Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル企業で、パソコンや携帯端末への実装を対象にLiquid Foundation Modelsを展開しています。
何が新しいか
このリポジトリは単独で完結するモデルではなく、ドラフターだけを含むスタンドアロンのsidecarです。ドラフターがトークンを提案し、ターゲットモデルがそれを検証します。トークン埋め込みとLMヘッドはロード時にターゲットモデルから共有します。配布ファイルはLFM2.5-24B-A2B-DSpark-F16.gguf(F16)の1つで、ライセンスはotherです。
ドラフターの構成
| 項目 | 値 |
|---|---|
| アテンション層数 | 5 |
| Markov headのランク | 256 |
| その他のヘッド | confidence head |
| ブロックサイズ | 9 |
| ファイルサイズ | 664 MB |
試し方・要件
llama.cppでターゲットにLFM2.5-24B-A2B-GGUF:F16、ドラフターにLFM2.5-24B-A2B-DSpark-GGUF:F16を指定します。
llama-server -hf LiquidAI/LFM2.5-24B-A2B-GGUF:F16 \
-hfd LiquidAI/LFM2.5-24B-A2B-DSpark-GGUF:F16 \
--spec-type draft-dspark --spec-draft-n-max 9 --spec-draft-n-min 0 \
-ngl 99 -ngld 99 -fa on
- ブロックサイズはsidecarのメタデータから読み込み、
--spec-draft-n-maxはその値(9)以下に制限されます。 - ターゲットの量子化は
LFM2.5-24B-A2B-GGUFから選びます。ターゲット量子化は受理率、速度、出力品質に影響します。 - レスポンスごとの
timingsでdraft_nとdraft_n_acceptedを確認できます。 - 浮動小数点の影響により、greedy samplingでもターゲット単独のデコードと異なるテキストが出る場合があります。
ベンチマークの扱いとファミリー
Liquid AIは、ベースモデル側で示しているNVIDIA B300上のSGLang FP8ベンチマークはllama.cppのGGUF測定値ではなく、GGUFでの速度向上はターゲット量子化、ハードウェア、ワークロードに依存すると説明しています。
同じLFM2.5-DSpark GGUFファミリーには、LFM2.5-1.2B-Instruct-DSpark-GGUF、LFM2.5-2.6B-DSpark-GGUF、LFM2.5-VL-3B-DSpark-GGUF、LFM2.5-8B-A1B-DSpark-GGUFがあり、それぞれ対応するターゲットGGUFと組み合わせます。
まだコメントはありません。