Unsloth、MiniMax-H3-ImageのDiTをFP8/INT8で18.88GiBに量子化

スペック

ライセンスMiniMax-H3-Image Community License Agreement
重みの公開FP8およびINT8の事前量子化safetensorsチェックポイント(DiTのみ)
配布形式・量子化FP8 e4m3、INT8-ConvRot(出力チャネル単位absmax、group size 256のHadamard回転)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

UnslothはHugging Faceで、MiniMaxの画像生成・編集モデルMiniMax-H3-ImageのDiTを事前量子化したFP8版とINT8-ConvRot版のsafetensorsを公開しました。どちらも18.88 GiBで、元の40.2 GBのbf16 DiTを置き換えます。bf16との差はINT8-ConvRotのほうが小さく、Unslothはこちらを推奨しています。

MiniMax-H3-Imageは、MiniMax H3ファミリーの画像モデルです。1つのチェックポイントでテキストからの画像生成と、1枚以上の参照画像の編集に対応します。ネイティブ解像度は約16メガピクセルで、アップスケーラーを使わずに4096x4096(1:1)から6272x2688(21:9)まで出力します。6ステップに蒸留されており、classifier-free guidanceを使いません。

量子化の内容

UnslothはDiT内の313個のLinearを量子化しました。proj_in、curve table、norm_out.linear、adaLNの経路はfp32のまま残しています。量子化元は、Comfy-Org/MiniMax-H3-Imageのminimax_h3_image_pruned_bf16.safetensorsです。

ファイル サイズ 方式
MiniMax-H3-Image-INT8-ConvRot.safetensors 18.88 GiB (20.27 GB) INT8、出力チャネル単位absmax、group size 256のHadamard回転
MiniMax-H3-Image-FP8.safetensors 18.88 GiB (20.27 GB) FP8 e4m3、出力チャネル単位absmax

INT8-ConvRotは重みをHadamard回転した基底で保存しています。このため、読み込み時に活性値を同じように回転させるローダーが必要です。

精度と速度

精度はbf16と比べた値です。x0 cosineはサンプリングステップ3での合成入力によるDiT全体の順伝播で測っています。LPIPSは1024x1024の1プロンプト・1シードでの比較です。

指標 INT8-ConvRot FP8
x0 cosine 0.99990 0.99946
x0 相対誤差 0.0144 0.033
LPIPS 0.102 0.313
L4 ウォーム生成(2048x2048) 約91秒/枚 約45秒/枚
L4 読み込み時間 17秒 31秒

L4での生成例は、24 GB L4、2048x2048、6ステップ、guidance 1.0、negative promptなしの条件です。DiTは50ブロック中28ブロックを常駐させてストリーミングし、ピークVRAMは18.7 GBでした。

40 GB A100ではINT8 DiTを常駐させられ、生成時間は約28.6秒/枚です。A100にはFP8 tensor coreがないため、Unsloth StudioはA100ではINT8ファイルを実行します。

必要なファイルと試し方

このリポジトリに含まれるのはDiTだけです。残りは次の場所から取得します。

  • VAE、tokenizer、processor、6ステップのsigma schedule(pdd_config.json):MiniMaxAI/MiniMax-H3-Image
  • テキストエンコーダー:MiniMaxAI/MiniMax-H3のtext_encoder/(Qwen3-VL)。事前量子化INT8-ConvRot版はunsloth/MiniMax-H3-FP8のtext_encoders/official/qwen3vl_32b_minimax_h3_int8_convrot.safetensorsにあります。

Unsloth Studioは、事前量子化パスから両ファイルを読み込めます。読み込み時のピークVRAMは19.3 GiBです。stable-diffusion.cpp向けのGGUFビルドはまだなく、今後の予定に入っています。

ライセンスはMiniMax-H3-Image Community License Agreementです。Applicable Territoryの定義や一部管轄区域の除外を含むため、利用前にLICENSEを確認する必要があります。

Unslothは、AIモデルの実行と学習のためのツール群です。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内