Liquid AI、総8.3B・活性1.5BのMoE「LFM2-8B-A1B」の重みを公開

Liquid AIは、LFM2世代で初めてのMoEモデルLiquidAI/LFM2-8B-A1Bの重みをHugging Faceで公開しました。総パラメータは8.3B、活性パラメータは1.5Bで、エッジAIとオンデバイス展開向けに設計したモデルです。

Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、パソコンや携帯端末などへの実装を対象にLiquid Foundation Modelsを展開しています。

何が新しいか

Liquid AIは、LFM2-8B-A1Bを品質と速度の両面で最良のオンデバイスMoEと位置づけています。品質は3〜4B規模の密モデルに匹敵し、速度はQwen3-1.7Bより高速だと説明しています。LFM2-2.6Bと比べて、コードと知識の能力が大幅に向上したともしています。量子化バリアントは、ハイエンドのスマートフォン、タブレット、ノートPCに収まるとしています。

仕様

アーキテクチャは乗法ゲートと短畳み込みを組み合わせたハイブリッド構成で、18個のダブルゲート短距離畳み込みブロックと6個のGQAブロックからなります。

項目	値
レイヤー数	24(18 conv + 6 attn)
コンテキスト長	32,768 tokens
語彙サイズ	65,536
学習精度	Mixed BF16/FP8
学習トークン数	12兆
事前学習データ	英語約75%、多言語20%、コード5%
ライセンス	LFM Open License v1.0

対応言語は英語、アラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、スペイン語です。

用途と使い方

Liquid AIはエージェントタスク、データ抽出、RAG、クリエイティブライティング、マルチターン対話に向くとしています。モデルが小さいため、性能を引き出すには狭い用途でのファインチューニングを推奨しています。一方、知識集約型のタスクやプログラミングスキルを要するタスクには推奨していません。

推奨生成パラメータは次のとおりです。

• temperature=0.3
• min_p=0.15
• repetition_penalty=1.05

チャットテンプレートはChatML風の形式で、Hugging Face Transformersの.apply_chat_template()で自動適用できます。

ツール利用は4段階です。システムプロンプトにJSON形式の関数定義を渡し、モデルがPython風の関数呼び出し(Pythonのリスト)をassistantとして出力します。実行結果をtoolロールで返すと、モデルはその結果を解釈して平文で最終回答を生成します。.apply_chat_template()にはツールをJSONスキーマまたはPython関数として直接渡せます。