Liquid AI、日本語向けLFM2.5-1.2BのGGUF版を公開

スペック

総パラメータ1.2B
ライセンスother
重みの公開GGUF
4bit量子化の目安メモリ約0.7GB(16GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Liquid AIは、エッジAI・オンデバイス展開向けのハイブリッドモデルLFM2シリーズから、日本語向けのLiquidAI/LFM2.5-1.2B-JP-202606-GGUFをHugging Faceで公開しました。総パラメータは1.2B、重みはGGUF形式で配布され、ライセンスはotherです。

何が新しいか

公開されたのはGGUFリポジトリで、ベースモデルはLiquidAI/LFM2.5-1.2B-JP-202606です。pipeline_tagはtext-generationで、元のモデルカードはLiquidAI/LFM2.5-1.2B-JP-202606側にあります。

背景

Liquid AIは、MITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、計算量と実行コストの効率を重視したLiquid Foundation Modelsを展開し、パソコンや携帯端末などへの実装を対象にしています。

試し方

llama.cppから、Hugging Faceのリポジトリを直接指定して実行できます。

llama-cli -hf LiquidAI/LFM2.5-1.2B-JP-202606-GGUF

位置づけ

Liquid AIはLFM2を「エッジAIおよびオンデバイス展開向けに設計されたハイブリッドモデルの新世代」と説明し、品質・速度・メモリ効率の新たな基準を目指すとしています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内