Liquid AIは、オンデバイス向けの推論モデルLiquidAI/LFM2.5-1.2B-ThinkingをHugging Faceで公開しました。1.17Bパラメータで1GB未満のメモリで動作し、AMD CPUで239 tok/s、モバイルNPUで82 tok/sのデコード速度をうたっています。
Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、パソコンや携帯端末への実装を対象にLiquid Foundation Modelsを展開しています。
何が新しいか
LFM2.5はオンデバイス展開向けのハイブリッドモデルファミリーです。LFM2アーキテクチャを基盤に、事前学習を10Tから28T tokensへ拡張し、大規模な多段階強化学習を加えています。LFM2.5-1.2B-Thinkingはそのうちのテキスト専用の汎用推論モデルです。ベースモデルはLiquidAI/LFM2.5-1.2B-Baseで、同ファミリーにはInstruct版、日本語最適化版のJP、VL-1.6B、Audio-1.5Bも並びます。
仕様と推奨設定
| 項目 | 値 |
|---|---|
| レイヤー数 | 16(double-gated convolution blocks 10 + GQA blocks 6) |
| 学習トークン数 | 28T tokens |
| 語彙サイズ | 65,536 |
| 知識カットオフ | 2024年中頃 |
| デコード速度 | AMD CPU 239 tok/s、モバイルNPU 82 tok/s |
| 生成パラメータ | temperature: 0.05、top_k: 50、repetition_penalty: 1.05 |
対応言語は英語、アラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、スペイン語です。Liquid AIはagentic tasks、data extraction、RAGでの利用を推奨し、knowledge-intensive tasksとprogrammingには推奨していません。
提供形式と試し方
llama.cpp、MLX、vLLMが初日から対応しています。Liquid AIはネイティブ形式のチェックポイントに加え、GGUF、ONNX、MLXの各形式を掲載しています。
- ネイティブ形式(
LFM2.5-1.2B-Thinking): TransformersとvLLMでのファインチューニング・推論向け LFM2.5-1.2B-Thinking-GGUF: llama.cppと互換ツール向けの量子化版。CPU推論とローカル展開に最適化LFM2.5-1.2B-Thinking-ONNX: ONNX Runtimeでクラウド、エッジ、モバイルのハードウェアアクセラレーション推論向けLFM2.5-1.2B-Thinking-MLX-8bit: Apple Silicon搭載MacでMLXを使う推論向け
チャット入力はChatMLに類似した形式で、tokenizer.apply_chat_template()で自動整形できます。ライセンスはotherです。
ツール呼び出し
ツール一覧はシステムプロンプトにJSONオブジェクトとして渡すか、tokenizer.apply_chat_template()にtoolsとして渡します。モデルはデフォルトで特殊トークンに挟まれたPythonのリスト形式の関数呼び出し(例: [get_candidate_status(candidate_id="12345")])を出力し、システムプロンプトで指示すればJSON形式にも切り替えられます。実行結果をtoolロールで返すと、モデルがそれを解釈して平文で最終回答を生成します。
まだコメントはありません。