Superfluid公開、8エージェント稼働中でもチャット初トークン1.5秒

Base Computeのリポジトリで公開されたオープンソースLLMサーバー「Superfluid」は、単一デバイス上の複数エージェントと対話ユーザーの共存、および異種マシン群での分散推論に対応します。Apple M5 Pro上のQwen3.8-27Bでは、8エージェント稼働中にチャットの最初のトークンが1.5秒で届き、llama-server、Ollama、mlx_lm.serverの291〜612秒を下回りました。

何が新しいか

原文は、ローカルLLM実行が抱える2つの変化を挙げています。1台のデバイスでは複数のエージェントが対話ユーザーとローカルモデルを共有するようになり、複数デバイスでは開発者や小規模チームが異なるベンダーの高性能マシンを複数持ちながら、ローカルサーバーが1台で1ランタイムしか扱わないため遊休状態になっている、という点です。

Superfluidは単一デバイスで、llama.cpp、MLX、BaseRTを分離されたワーカープロセスで動かし、1つのスケジューラで次の処理を行います。

  • 対話リクエストをエージェント処理より前に回す
  • 多数のリクエストで共有されるプロンプトを一度だけ計算する
  • 各トークンをクライアントに届ける前に永続ログへ書き込む

複数デバイスでは、1つのSuperfluidサーバーがマシン群を単一のAPIエンドポイントにします。異なるハードウェアのマシンが同じモデルのコピーを提供し、測定済みの速度に応じて処理を受け持ちます。負荷中にマシンが参加したり停止したりしても、リクエストを失いません。

llama.cppはC/C++実装の推論ソフトウェアで、MLXはAppleがAppleシリコン向けに開発する配列計算フレームワークです。

ベンチマーク結果

条件 指標 結果
Qwen3.8-27B / Apple M5 Pro / 8エージェント稼働中 チャットの初トークンまで 1.5秒(比較対象: 291〜612秒)
3チップベンダー6台 / 64模擬ユーザー / 1時間 処理リクエスト 5,041件すべて応答
同上 スループット 112→534 tok/s
同上 初トークン時間の中央値 99→12秒
Mac Studio M3 Ultra 12台 スループット 10,656 tok/s
同上 リクエスト / エージェント 38,563件 / 384エージェント、失敗なし

6台構成の試験では、マシンを1台ずつ参加させ、うち1台を強制停止して再参加させる条件でも全リクエストに応答しました。

提供条件・使い方

  • ライセンス: Apache-2.0
  • リポジトリ: basecompute/superfluid(GitHub)
  • 対応バックエンド: llama.cpp、MLX、BaseRT
  • 単一デバイス: バックエンドを分離ワーカープロセスで実行
  • 複数デバイス: 各マシンのSuperfluidサーバーを単一APIエンドポイントとして利用

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内