IBM Graniteは、ベースモデルibm-granite/granite-switch-4.1-30bを複数の量子化でGGUF形式に変換したリポジトリibm-granite/granite-switch-4.1-30b-GGUFをHugging Faceで公開しました。ライセンスはapache-2.0です。
GGUFは、GGMLプロジェクトが仕様を公開している推論用モデルのバイナリ形式で、GGMLを使う推論ソフトウェアで利用されます。
公開内容
リポジトリのノートによると、収録モデルはIBM Graniteのベースモデルから複数の量子化でGGUF形式に変換したものです。モデルの詳細は、ベースモデルであるibm-granite/granite-switch-4.1-30bのモデルカードを参照するよう案内しています。
ビルド情報
リポジトリは変換時のビルド情報として次の2点を示しています。
- llama.cpp build tag:
b11798 - Transformers version:
5.20.2
llama.cppはggml-orgが公開するC/C++実装の推論ソフトウェアで、CPUや各社GPUで実行でき、量子化とCPU・GPUの併用に対応します。
まだコメントはありません。