Liquid AI、LFM3-VL-2BのONNX版をq4で1.69GBで公開

Liquid AIは、画像とテキストからテキストを生成するモデルLiquidAI/LFM3-VL-2BのONNX版LiquidAI/LFM3-VL-2B-ONNXをHugging Faceで公開しました。ONNX Runtimeによるクロスプラットフォーム推論向けで、q4構成のサイズは1.69 GBです。

Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、パソコンや携帯端末などへの実装を対象にLiquid Foundation Modelsを展開しています。

精度構成とサイズ

各精度構成は、デコーダーとビジョンエンコーダーを組み合わせたものです。配布される精度はq4、q8、q4f16の3種類です。

精度	デコーダー	ビジョンエンコーダー	サイズ	デバイス
q4	decoder_q4	vision_encoder_q8	1.69 GB	CPU
q8	decoder_q8	vision_encoder_fp16	2.51 GB	CPU

q4f16構成はデコーダーにdecoder_q4f16を使います。

試し方・要件

推論にはONNX Runtimeを使います。q4とq8の構成はいずれも実行デバイスがCPUです。アーキテクチャーと利用方法の詳細について、Liquid AIは元モデルLiquidAI/LFM3-VL-2Bのモデルカードを参照するよう案内しています。ライセンスは「other」です。