IBM、granite-switch-4.1-8bのGGUF量子化版をHugging Faceで公開

IBM Graniteは、ibm-granite/granite-switch-4.1-8bをGGUF形式に変換した各種量子化モデルを収録するリポジトリibm-granite/granite-switch-4.1-8b-GGUFをHugging Faceで公開しています。ライセンスはapache-2.0です。

何が公開されたか

リポジトリの説明によると、このリポジトリにはIBM GraniteのベースモデルをGGUF形式に変換した、複数の量子化バリエーションが含まれています。ベースモデルはibm-granite/granite-switch-4.1-8bです。モデルの詳細はベースモデルのモデルカードを参照するよう案内しています。

GGUFは、GGMLプロジェクトで仕様が公開されている推論用モデルのバイナリ形式で、テンソルと読み込みに必要なメタデータを格納します。

ビルド情報

変換時の環境として、リポジトリは次の2点を記載しています。

• llama.cpp build tag: b11798
• Transformers version: 5.20.2

llama.cppはggml-orgが公開するC/C++実装の推論ソフトウェアで、CPUや各社GPUでの実行、量子化、CPU・GPUの併用に対応し、対話用CLIやOpenAI互換APIサーバーを備えます。