inclusionAI、ZoomGain-4BのGGUF版を3精度で公開

inclusionAIは、画像とテキストを入力とするZoomGain-4Bをllama.cppで変換したGGUF形式の重み「inclusionAI/ZoomGain-4B-GGUF」をHugging Faceで公開しました。言語モデルとビジョンエンコーダー/プロジェクター(mmproj)の両方を、FP16・Q8_0・Q4_K_Mの3精度で配布しています。

llama.cppはggml-orgが公開するC/C++製の言語モデル・視覚言語モデル推論ソフトウェアで、CLIとOpenAI互換APIサーバーを備えます。

構成

画像を入力する場合は、言語モデルのGGUFと、対応するmmprojファイルの両方を指定します。pipeline_tagはimage-text-to-textです。inclusionAIは、量子化によって精度が変わる可能性があると注記しています。

試し方・要件

Qwen3.5のマルチモーダルに対応したllama.cppビルドが必要です。CLIではllama-mtmd-cliを使います。

llama-mtmd-cli \
  -m ZoomGain-4B-Q8_0.gguf \
  --mmproj mmproj-ZoomGain-4B-Q8_0.gguf \
  --image /path/to/image.jpg \
  -p "Describe this image." \
  --temp 0 -n 2048

Webチャットとして使う場合はllama-serverを起動します。

llama-server \
  -m ZoomGain-4B-Q8_0.gguf \
  --mmproj mmproj-ZoomGain-4B-Q8_0.gguf \
  --host 127.0.0.1 --port 8080

別の精度を使う場合は、コマンド中のQ8_0をF16またはQ4_K_Mに置き換えます。