KoboldCpp 1.123、Qwen Image 2.1対応と公式サイトkoboldcpp.net開設

KoboldCppはkoboldcpp-1.123を公開し、公式コミュニティサイトkoboldcpp.netの開設、Qwen Image 2.1による画像生成・編集への対応、KoboldCpp Agentとバッチ(並列)処理の大幅な改善を加えました。KoboldCppはLostRuinsが公開する、llama.cppを基にしたAI生成ソフトウェアで、GGUFなどの言語モデルをCPUやGPUで実行できます。

主な新機能

  • koboldcpp.net: @Autumnlight02の協力で構築した初心者向けの公式コミュニティサイトです。偽サイト対策も目的に掲げています。公式実行ファイルのダウンロード先は引き続きGitHubのリリースページです。
  • Qwen Image 2.1対応: 画像の生成と編集ができます。すぐ使える.kcpptテンプレートも用意しています。上流同期と保守は@wbrunaが協力しました。
  • バッチモード: 標準サンプラー、grammar、ツール呼び出し、ビジョンを並列モードでも使えるようになりました。複数リクエストの同時実行には--parallelrequests Nを使います。バッチリクエスト中のアイドルアンロードも防ぎます。

KoboldCpp Agentの変更

/confirmの承認モードは次の3種類です。

モード 挙動
auto workdir内の読み書きは自動承認。shell呼び出しとworkdir外の編集・書き込みは常に確認
on(デフォルト) すべてのツール呼び出しで承認を要求
off(要注意) すべてのツール呼び出しを常に承認

そのほかのコマンドと変更点は以下の通りです。

  • /save・/loadでセッションを保存・復元。起動時に--agentload [file]で直接読み込み可能
  • /confirm NAME on|off|autoでツール単位の承認設定
  • 承認プロンプトを[Esc]で中断
  • /maxstepsで最大自動化ステップ数、/usageでトークン使用量、/autocompact Nで指定トークン到達時の圧縮、/pasteで複数行貼り付け
  • MCPツール呼び出しはlocalhost上の場合に限定(MCPサーバーが動くデバイスに影響するため)
  • shell呼び出しがstdinでブロックしないよう修正、system promptの位置を修正
  • GUIランチャーに専用のAgentタブを新設

修正・非推奨化

  • rep_pen_rangeが無制限でOOMを起こしうる不具合を修正(@SounLabs)
  • grammarの整数解析の最小値を修正(@SashaMIT)
  • 一部ツールでのツール呼び出しのハング、Mistralのツール呼び出し、ツールパーサーを修正
  • oldpc版でビジョンが壊れていた問題を修正
  • Spark X2.5テンプレートを追加
  • --jinjatoolsを非推奨化。--jinjaが常にJinjaツールを有効にし、失敗時はフォールバックします
  • --multiuserを非推奨化。接続キュー上限は--queuelimitで設定します
  • 複数のカスタムOpenAIエンドポイントをお気に入り保存可能に

入手と実行

環境 バイナリ
Windows(NVIDIA) koboldcpp.exe
Linux(NVIDIA) koboldcpp-linux-x64
古いCPU・古いNVIDIA GPU oldpc版(Cuda11 + AVX1)
NVIDIA GPUなし・CUDA不要 nocuda版(より小さい)
AMD nocudaビルドのVulkanオプションを推奨。LinuxではrollingのROCmバイナリも利用可
M-Series Mac koboldcpp-mac-arm64

コマンドラインで起動パラメータ(--help参照)を指定するか、GUIでモデルを選択します。読み込み後はhttp://localhost:5001で接続できます。自動更新される実験的なrollingビルドもありますが、不安定な場合があります。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内