inclusionAI、ZoomGain-9BのGGUF版をFP16・Q8_0・Q4_K_Mで公開

inclusionAIは、画像とテキストを入力にとるZoomGain-9Bをllama.cppでGGUF形式に変換した inclusionAI/ZoomGain-9B-GGUF を提供しています。言語モデルと、ビジョンエンコーダー・プロジェクター(mmproj)のそれぞれにFP16、Q8_0、Q4_K_Mの3精度を用意しています。

llama.cppはggml-orgが公開するC/C++製の言語モデル・視覚言語モデル推論ソフトウェアで、対話用CLIやOpenAI互換APIサーバーを備えます。

構成

パイプライン種別はimage-text-to-textです。画像入力には、言語モデルのGGUFと、それに対応するmmprojファイルの両方が必要です。inclusionAIは、量子化が精度に影響する可能性があると注記しています。

試し方と要件

Qwen3.5マルチモーダル対応のllama.cppビルドを使います。CLIで推論する場合は次のコマンドです。

llama-mtmd-cli -m ZoomGain-9B-Q8_0.gguf --mmproj mmproj-ZoomGain-9B-Q8_0.gguf --image /path/to/image.jpg -p "Describe this image." --temp 0 -n 2048

Web Chatで使う場合はllama-serverを起動します。

llama-server -m ZoomGain-9B-Q8_0.gguf --mmproj mmproj-ZoomGain-9B-Q8_0.gguf --host 127.0.0.1 --port 8080

別の精度を使うときは、コマンド中のQ8_0をF16またはQ4_K_Mに置き換えます。