Liquid AIは、オンデバイス展開向けのテキスト専用指示調整モデル「LFM2.5-1.2B-Instruct」(1.17Bパラメータ)をHugging Faceで公開しました。AMD CPUで239 tok/s、モバイルNPUで82 tok/sのデコード速度を示し、1GB未満のメモリで動作するとしています。
Liquid AIは、MITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、パソコンや携帯端末などへの実装を対象にLiquid Foundation Modelsを展開しています。
何が新しいか
LFM2.5は、LFM2アーキテクチャに拡張事前学習と強化学習を施したオンデバイス向けハイブリッドモデルファミリーです。事前学習を10Tトークンから28Tトークンへ拡張し、大規模な多段階の強化学習を加えました。ファミリーにはBase、Thinking、日本語最適化のLFM2.5-1.2B-JP、LFM2.5-VL-1.6B、LFM2.5-Audio-1.5Bも並びます。
仕様・数値
| 項目 | 値 |
|---|---|
| レイヤー数 | 16(double-gated convolution blocks 10 + GQA blocks 6) |
| 学習トークン数 | 28T |
| コンテキスト長 | 32,768 tokens |
| 語彙サイズ | 65,536 |
| 知識カットオフ | 2024年中頃 |
| AMD CPUデコード | 239 tok/s |
| モバイルNPUデコード | 82 tok/s |
| メモリ使用量 | 1GB未満 |
対応言語は英語、アラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、スペイン語です。推奨生成パラメータはtemperature: 0.1、top_k: 50、repetition_penalty: 1.05です。
Liquid AIはエージェントタスク、データ抽出、RAGでの利用を推奨し、知識集約型タスクとプログラミングには推奨していません。チャットテンプレートはChatML風の形式で、関数呼び出しにも対応します。ツール一覧はシステムプロンプトにJSONで渡すことを推奨し、既定ではPythonic形式で関数呼び出しを出力します。システムプロンプトでJSON形式の出力に切り替えることもできます。
試し方・配布形式
llama.cpp、MLX、vLLMを初日からサポートします。用途別の配布リポジトリは次のとおりです。
LFM2.5-1.2B-Instruct: ネイティブ形式。TransformersやvLLMでのファインチューニング・推論向けLFM2.5-1.2B-Instruct-GGUF: llama.cppおよび互換ツール向けの量子化形式LFM2.5-1.2B-Instruct-ONNX: ONNX Runtimeによるクロスプラットフォーム展開向けLFM2.5-1.2B-Instruct-MLX-8bit: Apple Silicon向けMLX形式LFM2.5-1.2B-Instruct-DSpark: 296Mの投機的デコーディング用ドラフター。本モデルと組み合わせると同一出力のままデコードが約2.1倍高速になるとしています
ライセンスはotherです。メッセージの整形にはtokenizer.apply_chat_template()を使えます。
まだコメントはありません。