ExLlamaV2はバージョン1.5.4を公開し、トークン埋め込み量子化とディスクストリーミングの選択肢を追加しました。あわせてHF Transformers統合モジュールをTransformers 5に更新しています。
1.5.4の変更点
| 分類 | 内容 |
|---|---|
| 新オプション | トークン埋め込み量子化、ディスクストリーミング |
| 量子化 | 量子化精度の改善 |
| Transformers統合 | HF Transformers統合モジュールをTransformers 5に更新、ラップされたEXL3レイヤーのバックプロパゲーションに対応 |
| 速度 | モデル読み込みの高速化、その他の性能改善 |
| メモリ | システムメモリとVRAMのオーバーヘッドを削減 |
| モデル対応 | MiMo-V2.6向けの修正 |
| その他 | 多数の(潜在的な)バグ修正 |
Transformers統合の対象バージョン
HF Transformers統合モジュールはTransformers 5を対象とするよう更新されています。前バージョンからの変更一覧は v1.5.3...v1.5.4 のFull Changelogにあります。
まだコメントはありません。