Liquid AIは、オンデバイス展開向けのハイブリッドMoEモデル「LFM2-24B-A2B」をHugging Faceで公開しました。総パラメータ24Bに対しトークンあたりの活性パラメータを2.3Bに抑え、デコード速度はAMD CPUで112 tok/s、H100で293 tok/sとしています。
Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、パソコンや携帯端末などへの実装を対象にLiquid Foundation Modelsを展開しています。
何が新しいか
LFM2-24B-A2BはLFM2ファミリーで最大の一般用途向けinstructionモデルで、reasoning tracesは含みません。Liquid AIは、推論効率を維持したままアーキテクチャを24Bまで拡張したと説明しています。原文によると、品質は350Mから24Bまで総パラメータに対して対数線形に向上したとしています。
仕様・数値
| 項目 | LFM2-8B-A1B | LFM2-24B-A2B |
|---|---|---|
| 総パラメータ | 8.3B | 24B |
| 活性パラメータ | 1.5B | 2.3B |
| レイヤー | 24(18 conv + 6 attn) | 40(30 conv + 10 attn) |
| コンテキスト長 | 32,768 tokens | 32,768 tokens |
| 語彙サイズ | 65,536 | 65,536 |
| 学習精度 | Mixed BF16/FP8 | Mixed BF16/FP8 |
| 学習予算 | 12 trillion tokens | 17 trillion tokens |
- デコード速度: AMD CPUで112 tok/s、H100で293 tok/s
- RAM要件: 32 GB(消費者向けノートPC・デスクトップでの展開)
- 対応言語: 英語、アラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、スペイン語、ポルトガル語
- ライセンス: LFM Open License v1.0
試し方・要件
モデルIDはLiquidAI/LFM2-24B-A2Bです。推論エンジンはllama.cpp、vLLM、SGLangがday-one supportです。
- 入力はChatML-like形式で、
tokenizer.apply_chat_template()でメッセージを整形できます。 - 推奨生成パラメータは
temperature: 0.1、top_k: 50、repetition_penalty: 1.05です。 - ツール一覧はシステムプロンプトにJSONで渡すことを推奨しています。モデルはデフォルトでPythonicな関数呼び出し(特殊トークンで囲んだPythonリスト)を出力し、システムプロンプトで指示すればJSON形式に変更できます。
- 関数の実行結果を
toolロールで返すと、モデルがそれを解釈して平文で最終回答を生成します。
想定用途
Liquid AIが推奨する用途は、マルチステップのエージェントパイプラインで高速な内側ループを担うツール利用、法務・医療・企業向けのオフライン文書要約とQ&A、ネットワーク外にデータを出さないオンプレミスのカスタマーサポート、GPUサーバーなしの単一マシンでのローカルRAGです。一方、コーディング向けには最適化していないため、この用途は推奨していません。
まだコメントはありません。