IBM Granite、granite-4.0-microのGGUF版をHugging Faceで公開

スペック

ライセンスapache-2.0
配布形式・量子化GGUF、各種量子化

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

IBM Graniteは、Hugging Face上でibm-granite/granite-4.0-micro-GGUFのモデルリポジトリを公開しています。ベースモデルibm-granite/granite-4.0-microを、さまざまな量子化でGGUF形式に変換したモデルを収録しています。

何が公開されたか

このリポジトリは、IBM Graniteのベースモデルibm-granite/granite-4.0-microをGGUF形式に変換したもので、量子化のバリエーションを複数用意しています。リポジトリのライセンスはapache-2.0です。

GGUFは、GGMLプロジェクトで仕様が公開されている推論用モデルのバイナリ形式で、テンソルと読み込みに必要なメタデータを格納し、GGMLを使う推論ソフトウェアで利用されます。

試し方・参照先

  • GGUF形式のモデルとして利用します。
  • 各量子化版やモデル本体の詳細は、ベースモデルのモデルカードを参照するよう、リポジトリは案内しています:

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内