inclusionAI、ZwZ2-4BのGGUF重みをFP16・Q8_0・Q4_K_Mで公開

inclusionAIは、Zooming without Zooming v2の一部であるZwZ2-4BのGGUF形式重みをHugging FaceのinclusionAI/ZwZ2-4B-GGUFで公開しました。言語モデルとvision encoder and projector(mmproj)をそれぞれFP16、Q8_0、Q4_K_Mの3精度で提供しています。

何が公開されたか

リポジトリはinclusionAI/ZwZ2-4Bをベースモデルとし、pipeline_tagはimage-text-to-textです。モデルは言語モデルとvision componentの2つに分かれており、利用時は両方を同じリポジトリから選びます。精度レベルの異なる組み合わせも可能です。inclusionAIは、量子化が精度に影響しうるとして、評価結果は元モデルのページを参照するよう案内しています。

精度	言語モデル	Vision component
FP16	ZwZ2-4B-F16.gguf	mmproj-ZwZ2-4B-F16.gguf
Q8_0	ZwZ2-4B-Q8_0.gguf	mmproj-ZwZ2-4B-Q8_0.gguf
Q4_K_M	ZwZ2-4B-Q4_K_M.gguf	mmproj-ZwZ2-4B-Q4_K_M.gguf

試し方と要件

推論にはQwen3.5マルチモーダル対応の最近のllama.cppビルドが必要です。画像入力では、対応するmmprojを必ず指定します。

CLI推論:

llama-mtmd-cli -m ZwZ2-4B-Q8_0.gguf --mmproj mmproj-ZwZ2-4B-Q8_0.gguf --image /path/to/image.jpg -p "Describe this image." --temp 0 -n 2048

ローカルAPIとWeb Chat:

llama-server -m ZwZ2-4B-Q8_0.gguf --mmproj mmproj-ZwZ2-4B-Q8_0.gguf --host 127.0.0.1 --port 8080

FP16やQ4_K_Mを使う場合は、コマンド内のファイル名を対応する重みに置き換えます。

ライセンス

変換済み重みは、元モデルとそのバックボーンのライセンス条件を引き継ぎます。llama.cppはMITライセンスで配布されています。llama.cppはggml-orgが公開するC/C++実装の推論ソフトウェアで、CLIやOpenAI互換APIサーバーを備えています。