NInfer

Nerouedが公開する、指定のQwenモデルを単体のNVIDIA GPUで動かすための推論エンジン。C++とCUDAで実装され、文章・画像・動画を入力として扱う。ローカルのCLIとOpenAI・Anthropic互換のHTTP APIを備え、専用形式のモデルを読み込んで実行する。

公式サイト