Liquid AIは、オンデバイス展開向けのテキスト生成モデル「LFM2.5-350M」をHugging Faceで公開しました。350Mパラメータで1GB未満のメモリで動作し、AMD CPUで313 tok/s、Snapdragon Gen4で188 tok/sのデコード速度をうたっています。
Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、パソコンや携帯端末などへの実装を対象にLiquid Foundation Modelsを展開しています。
何が新しいか
LFM2.5はLFM2アーキテクチャを基盤とするハイブリッドモデルファミリーです。Liquid AIは事前学習を10Tから28T tokensに拡張し、大規模な多段階強化学習を加えました。LFM2.5-350Mは汎用の命令チューニング済みテキスト専用モデルで、ファインチューニング用のベースモデルLFM2.5-350M-Baseも同じ350Mで用意されています。
仕様
| 項目 | 値 |
|---|---|
| レイヤー数 | 16(double-gated convolution 10 + GQA 6) |
| トレーニング予算 | 28T tokens |
| コンテキスト長 | 32,768 tokens |
| 語彙サイズ | 65,536 |
| 知識カットオフ | Mid-2024 |
| 推奨生成パラメータ | temperature: 0.1、top_k: 50、repetition_penalty: 1.05 |
対応言語は英語、アラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、ポルトガル語、スペイン語です。Liquid AIはデータ抽出、構造化出力、ツール利用を推奨用途とし、知識集約型タスクとプログラミングは非推奨としています。ライセンスはotherです。
試し方と配布形式
llama.cpp、MLX、vLLMにday-oneで対応しています。用途別のチェックポイントは次のとおりです。
| 環境 | リポジトリ |
|---|---|
| Transformers / vLLM | LiquidAI/LFM2.5-350M(ネイティブ形式) |
| llama.cppと互換ツール | LiquidAI/LFM2.5-350M-GGUF |
| ONNX Runtime | LiquidAI/LFM2.5-350M-ONNX |
| Apple Silicon(MLX) | LiquidAI/LFM2.5-350M-MLX-8bit |
| Intel CPU/GPU/NPU(OpenVINO) | OpenVINO/LFM2.5-350M-int8-ov |
チャット入力はChatMLに類似した形式で、tokenizer.apply_chat_template()で自動整形できます。ツール利用では、システムプロンプトにJSONオブジェクトとしてツール一覧を渡すか、tokenizer.apply_chat_template()にtoolsを渡します。モデルはデフォルトでPythonic形式の関数呼び出し(特殊トークンで囲んだPythonリスト)を出力し、システムプロンプトで指示すればJSON形式に切り替えられます。関数の実行結果はtoolロールで返し、モデルがそれを解釈して最終回答を平文で生成します。
まだコメントはありません。