Memdoorリポジトリの開発者guregodevoは、Qwen3.8-27Bを使うマルチエージェント型ワークフロー「team-solve」がLiveCodeBench Hardの最初の10問を5パス評価し、平均9.8/10を記録したと公開しました。比較対象の著者側27Bハーネスは9.6、Fable 5単独は8.0です。
何が新しいか
team-solveは、GVS5H(Lee, 2026)の手法をMemdoorワークフローとして再構築したものです。planner、2人のideator、solver、manager、repair workerがそれぞれ新しいコンテキストから開始し、ディスク上のファイルだけで連携します。成功判定はモデルの主張ではなく、サンプルを実行するシェルスクリプト check-samples.sh が行います。原文によると、これらのファイルは手法の説明からコーディングエージェント自身が書いたものです。
実行はOpenRouter上で、ローカルマシンではありません。Qwenは Alibaba Cloudが開発するLLMファミリー、OpenRouterは複数提供元のモデルを共通APIで使うサービスです。
結果と数値
| 項目 | 値 |
|---|---|
| Memdoorワークフロー平均 | 9.8/10 |
| 著者側27Bハーネス平均 | 9.6/10 |
| Fable 5単独平均 | 8.0/10 |
| 解決数 | 49/50 |
| 50実行の費用 | $35.79(中断等を含め$38.77) |
| 出力トークン | 15.3M |
| 1実行のモデル時間 | 中央値40分、最長4時間 |
| 1実行の費用 | $0.39 |
パスごとのスコアはMemdoorが10、10、10、10、9でした。失点したパス5のabc399_eでは、1ラウンド目のプログラムは正しかったものの、managerが誤った期待値の反例を作り、チームが書き換えた結果、非公開テスト44件中32件の合格にとどまりました。パス4のarc196_cとarc196_dでは、managerがdoneを出さず正解プログラムが後のラウンドで上書きされましたが、ループ終了前に正解へ戻り、費用はそれぞれ$4.24と$3.44と最も高額でした。
評価条件
- 対象: LiveCodeBench Hardリストの最初の10問(著者の100問ではない)
- モデルには公開サンプルだけを提示し、公開・非公開テストで採点
- 返信上限128K、最大10ラウンド
- 温度: plan 0.3、ideation 0.4、managerとworker 0.2
- top_p 0.95、top_k 20(著者側のvLLMがモデル自身の設定から適用した値)
Fable 5の値は著者ファイルにある問題ごとの単一呼び出し結果で、このハーネスでは実行していません。対象コンテストは2025年3月29日〜4月6日で、モデルが訓練時に見た可能性があり、汚染は排除できないと原文は述べています。
試し方
curl -fsSL https://memdoor.ai/install.sh | bash
memdoor connect openrouter
git clone --depth 1 https://github.com/guregodevo/memdoor
mkdir -p ~/.memdoor/workflows
cp -r memdoor/examples/workflows/team-solve ~/.memdoor/workflows/
mkdir my-problem && cd my-problem
cp -r ../memdoor/examples/workflows/team-solve/sample/* .
memdoor workflow run team-solve --wait
進捗はstderrに表示され、全サンプル合格時に終了コード0で終わります。memdoor connect local でOllama、llama.cpp、vLLM、LM Studioなどローカルモデルにも接続できます。独自問題では task.md と tests/N.in・tests/N.out を置き換え、solution.py が標準入力から読んだ出力を diff で比較します。Python 3とbashが必要です。
まだコメントはありません。