Liquid AIは、LFM3ファミリー初のオムニモーダルモデル「LFM3-Omni-2B」(総パラメータ2.17B)をHugging Faceで公開しました。単一のエンドツーエンドモデルでテキスト、画像、動画、音声を入力として扱い、テキストまたは音声で応答します。
Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、計算量と実行コストの効率を重視したLiquid Foundation Modelsを展開しています。
何が新しいか
LFM3-Omni-2Bは、個別の音声認識(ASR)モデル、視覚言語モデル、LLM、音声合成(TTS)モデルを1つのモデルで置き換える設計です。音声付きの動画では映像と音声を同時に処理するため、両方の情報が必要な質問に答えられます。原文が示す使い方は次のとおりです。
- 写真について音声で質問する
- 音声を書き起こす・翻訳する
- 音声で会話する
- 動画の映像と音声トラックの両方について質問する
仕様
リポジトリはLiquidAI/LFM3-Omni-2Bで、pipeline_tagはany-to-any、ライセンスはotherです。仕様表ではチェックポイントを事後学習済みのオムニモーダルモデルとし、パラメータ数を2.17B totalとしています(本文の概要では2.2Bと表記)。アーキテクチャはLFM3 backboneとLFM3 vision encoderなどで構成されます。
想定環境
Liquid AIはオンデバイス利用を前提とし、スマートフォン、ノートPC、その他のエッジ機器で効率よく動作するよう設計したとしています。LFM3ファミリーにはbase、text、vision、audio、omni、decisionの各モデルが含まれます。

まだコメントはありません。