Liquid AI、LFM3-Omni-2BのONNX版をHugging Faceで公開

スペック

ライセンスother
配布形式・量子化各精度のONNX構成。本文で確認できる例ではDecoderがq4、Vision encoderがq8。

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Liquid AIは、LFM3-Omni-2BをONNX形式に変換したLiquidAI/LFM3-Omni-2B-ONNXをHugging Faceで公開しました。ONNX Runtimeによるクロスプラットフォーム推論を目的としたモデルで、パイプラインタグはany-to-anyです。

Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、パソコンや携帯端末などへの実装を対象にLiquid Foundation Modelsを展開しています。

構成

各精度の構成は、デコーダー、ビジョンエンコーダー、オーディオエンコーダー、コーデックデコーダーの4つを組み合わせたものです。原文で確認できるq4構成の例は次のとおりです。

要素 ファイル
Decoder decoder_q4
Vision encoder vision_encoder_q8
Audio encoder audio_encoder
Codec decoder codec_decoder

これに加えて、すべての精度でfloat32のdepth_decoder(onnx/depth_decoder.onnx)を実行します。各精度のサイズ表記にはこのdepth_decoderの分が含まれています。

利用条件と試し方

  • 推論環境: ONNX Runtime
  • ベースモデル: LiquidAI/LFM3-Omni-2B
  • ライセンス: other

Liquid AIは、詳細なアーキテクチャーと利用方法について、元のLFM3-Omni-2Bのモデルカードを参照するよう案内しています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内