ExLlamaV3

turboderp-orgが公開する、一般向けGPUでローカルの言語モデルを実行する推論ライブラリ。EXL3量子化形式、テンソル並列・エキスパート並列、連続バッチ処理に対応する。視覚入力やLoRAも扱い、TabbyAPIと組み合わせてOpenAI互換APIを提供できる。

公式サイト