Liquid AI、LFM2.5-VL-3BのONNX版を公開しブラウザ実行に対応

Liquid AIは、3Bパラメータの画像・言語モデルLiquidAI/LFM2.5-VL-3B-ONNXをHugging Faceで公開しました。Transformers.js v4.0以降を使えば、WebGPU上でブラウザ内推論を実行できます。

Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル企業で、パソコンや携帯端末などへの実装を対象にLiquid Foundation Modelsを展開しています。

何が新しいか

LFM2.5は、Liquid AIがエッジAIとオンデバイス展開向けに設計した新世代のハイブリッドモデルです。原文は品質・速度・メモリ効率の新たな基準を目指すと述べています。今回のリポジトリはLiquidAI/LFM2.5-VL-3BをベースモデルとするONNX版で、pipeline_tagはimage-text-to-text、ライセンスはotherです。

構成要素ごとに精度を分けており、decoder_model_mergedはq4、embed_tokensとvision_encoderはfp16です。

試し方・要件

• 実行環境: ブラウザ(device: "webgpu")
• ライブラリ: Transformers.js v4.0以降
• インストール: npm install @huggingface/transformers

読み込みはAutoProcessor.from_pretrained(modelId)とAutoModelForImageTextToText.from_pretrained(modelId, { device: "webgpu", dtype: { embed_tokens: "fp16", decoder_model_merged: "q4", vision_encoder: "fp16" } })で行います。サンプルではprocessor.apply_chat_templateで画像と「Describe this image.」を含むメッセージをプロンプト化し、load_imageで取得した画像とともにprocessorへ渡してmodel.generateを呼びます。

サンプルコードの生成パラメータは次の通りです。

パラメータ	値
do_sample	true
temperature	0.2
top_k	50
repetition_penalty	1.0
max_new_tokens	256

出力は入力トークン長以降をスライスし、processor.batch_decode(generated, { skip_special_tokens: true })でテキストに戻します。