slee-persisが公開したGVS5Hリポジトリは、5つのQwen3.8-27Bインスタンスによる自己オーケストレーションで、LiveCodeBench Hardのpass@1を66.8%から92.4%に引き上げたと報告しています。比較対象のClaude Fable 5は90.4%でした。
何が新しいか
GVS5H(Gorilla vs. 5 Humans)は「台帳ベースのゼロショット自己オーケストレーション」と呼ぶ学習不要の手法です。同一モデルの新しいインスタンス群が、計画・メモ・現行ソリューションを置いた共有ファイルシステムを通じて問題を分解し、協調します。論文はトランスクリプト分析から、改善の要因を問題の分解と永続的なコンテキストに帰しています。Qwen3.8-27Bは27Bのオープンウェイトモデルで、ローカルで提供した状態で評価しています。
QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、ClaudeはAnthropicが開発する大規模言語モデルのファミリーです。
評価結果
評価対象はLiveCodeBenchの最新の難問100件、オープン/クローズドウェイトを合わせた11モデルです。
| モデル・条件 | pass@1 |
|---|---|
| Qwen3.8 Flash Next(オーケストレーション使用) | 93.0% |
| Qwen3.8-27B(ローカル、オーケストレーション使用) | 92.4% |
| Claude Fable 5 | 90.4% |
| Qwen3.8-27B(ローカル、オーケストレーションなし) | 66.8% |
- Qwen3.8 Flash NextのコストはFable 5の9%です。
- ピン留めしたバックエンドでの改善幅は最大25.6ポイントです。
- 改善は普遍的ではなく、一部のモデルでは変化しないか悪化しました。
- Opus 5の結果は初期版のスキャフォールドで、OpenRouter経由の単一パスで実行したもので、固定バックエンドで5インスタンスを動かした結果ではありません。
試し方
uvと、テストするモデル用のAPIキーが必要です。
cd codebase/v2-current
export OPENAI_API_KEY=...
LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 --with ...
プロバイダー指定にはdashscope:やopenrouter:を使い、それぞれ固有の*_API_KEYが必要です。実行終了時にpass@1スコアを表示し、結果をruns/results.json、ワークスペースをruns/ws/に保存します。
ライセンスと反応
コードはMIT、論文・図・実行データはCC BY 4.0です。LiveCodeBenchのフォーク、問題文、LaTeXテンプレートは各自のライセンスに従い、対応関係はNOTICE.mdにまとめています。リポジトリはGitHubで802スター、95フォーク、Hacker Newsでは84ポイント・19コメントを集めました。
まだコメントはありません。