Liquid AI、d1-2BのApple Silicon向け4-bit MLX版を1.35GBで公開

Liquid AIは、意思決定モデルLiquidAI/d1-2BをApple Silicon向けに4-bit量子化したLiquidAI/d1-2B-MLX-4bitをHugging Faceで公開しました。重みは1.35 GBで、実行にはMLX-VLM 0.7.11以降が必要です。

Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、MLXはAppleの機械学習研究チームが開発するAppleシリコン向けの配列計算フレームワークです。

何が新しいか

d1-2Bは、テキスト・画像・動画の「状態」に対して、名前付き・型付きの質問にキャリブレーションされた確率で答える意思決定モデルです。トークンを生成せず、1回のフォワードパスで複数の質問に回答します。サンプルでは入力189トークンに対し出力は0トークンです。質問の型にはnoul、choice(multiple指定可)、score、number、boxなどがあります。

量子化と精度

言語モデル部分は4-bit affine quantization(グループサイズ64)で、vision tower、projector、normsはFP16のままです。

項目	値
重みのサイズ	1.35 GB
量子化	4-bit affine、グループサイズ64
float32元チェックポイントとの比較	52件中3件の回答が変化
確率の最大変動幅	0.25

Liquid AIは、キャリブレーションが重要な用途ではFP16版(LiquidAI/d1-2B-MLX-fp16)または8-bit版(LiquidAI/d1-2B-MLX-8bit)を推奨しています。

試し方・要件

対応ハードウェアはApple Siliconで、MLX-VLMを次のように導入します。

pip install -U "mlx-vlm>=0.7.11"

トークンを生成しないため、チャットアプリやmlx_vlm.generateでは動きません。Pythonではload("LiquidAI/d1-2B-MLX-4bit")で読み込み、model.system_oneに状態と質問の辞書を渡します。戻り値は{"answers": {name: answer}, "usage": {...}}で、複数リクエストにはmodel.system_one_batchを使います。画像はload_imageで読み込み、model.system_one(None, {...}, media=[image])のように渡します。サンプルでは猫の数をnumber型で2.0と答え、リモコンの位置をbox型で返しています。

コマンドラインではdecideコマンドで回答をJSON出力できます。

python -m mlx_vlm decide --model LiquidAI/d1-2B-MLX-4bit \
  --state "I was charged twice this month. Please refund one of the charges." \
  --questions '{"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"}}'

ライセンスはotherです。