Liquid AI、2.17BのオムニモーダルモデルLFM3-Omni-2Bを公開

スペック

総パラメータ2.17B
ライセンスother
4bit量子化の目安メモリ約1.3GB(16GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Liquid AIは、LFM3ファミリー初のオムニモーダルモデル「LFM3-Omni-2B」(総パラメータ2.17B)をHugging Faceで公開しました。単一のエンドツーエンドモデルでテキスト、画像、動画、音声を入力として扱い、テキストまたは音声で応答します。

Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、計算量と実行コストの効率を重視したLiquid Foundation Modelsを展開しています。

何が新しいか

LFM3-Omni-2Bは、個別の音声認識(ASR)モデル、視覚言語モデル、LLM、音声合成(TTS)モデルを1つのモデルで置き換える設計です。音声付きの動画では映像と音声を同時に処理するため、両方の情報が必要な質問に答えられます。原文が示す使い方は次のとおりです。

  • 写真について音声で質問する
  • 音声を書き起こす・翻訳する
  • 音声で会話する
  • 動画の映像と音声トラックの両方について質問する

仕様

リポジトリはLiquidAI/LFM3-Omni-2Bで、pipeline_tagはany-to-any、ライセンスはotherです。仕様表ではチェックポイントを事後学習済みのオムニモーダルモデルとし、パラメータ数を2.17B totalとしています(本文の概要では2.2Bと表記)。アーキテクチャはLFM3 backboneとLFM3 vision encoderなどで構成されます。

想定環境

Liquid AIはオンデバイス利用を前提とし、スマートフォン、ノートPC、その他のエッジ機器で効率よく動作するよう設計したとしています。LFM3ファミリーにはbase、text、vision、audio、omni、decisionの各モデルが含まれます。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内