Liquid AIは、状態に対する名前付き・型付きの質問へ1回のforward passで回答する意思決定モデル「d1-3B」のGGUF版 LiquidAI/d1-3B-GGUF をHugging Faceで公開し、llama.cppでの実行例を示しました。Liquid AIはMITの計算機科学・人工知能研究所から生まれた基盤モデル開発企業で、Liquid Foundation Modelsを展開しています。
何が新しいか
d1-3Bはテキストを生成せず、与えた「状態」(テキスト、JSON、画像)に対して、あらかじめ定義した質問へ直接回答します。回答は生成トークンなしの1回のforward passで得られます。配布物はGGUF形式のQ8_0で、モデルカードはベースモデルとして LiquidAI/d1-3b、ライセンスをotherとしています。
質問の型として、使用例には次の3種類が登場します。
| type | 用途(使用例より) |
|---|---|
noul |
「返金を求めているか」「ソファの上にいるか」などの真偽判定 |
choice |
criteria に列挙した選択肢(例: billing / technical / fraud)から選ぶ |
score |
criteria に並べた段階(例: Can wait / Today / Blocking the customer now)で評価 |
試し方
llama.cppでサーバーを起動します。
llama-server -hf LiquidAI/d1-3B-GGUF:Q8_0
起動後、http://127.0.0.1:8080/v1/systemone に state と questions を含むJSONをPOSTします。テキスト入力の例は次の通りです。
curl http://127.0.0.1:8080/v1/systemone -H "Content-Type: application/json" -d '{ "state": "I was charged twice this month, please refund one of them.", "questions": { "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"}, "team": {"type": "choice", "instructions": "Which team should handle this?", "criteria": {"billing": "Charges, refunds, invoices", "technical": "App or site faults", "fraud": "Suspected unauthorised use"}}, "urgency": {"type": "score", "instructions": "How urgent is this?", "criteria": ["Can wait", "Today", "Blocking the customer now"]} } }'
画像を含める場合は、Base64のdata URL(data:image/jpeg;base64,...)を images 配列に入れて同じエンドポイントへ送ります。原文の例では、ソファの上の猫2匹の写真に対して pet(choice)と sofa(noul)を質問しています。画像が状態のすべてである場合、state は null にできます。
まだコメントはありません。