Hugging Face Blogに掲載された記事で、Younes Bらの著者は、Qwen3.8-27Bの重みを固定したまま、エージェントハーネス内で強化学習したLoRA「ハーネスアダプター」を紹介しました。Terminal-Bench 2.1(Piハーネス)では、アダプターなしのスコア39%に対し、LoRA適用後はpass@1が55%となり、タスクあたりの平均トークン使用量は2.9Kから1.5Kに減っています。
QwenはAlibaba Cloudが開発するLLMファミリーです。Hermes AgentはNous Researchが開発するAIエージェントです。
何が新しいか
著者らはPi、Hermes Agent、OpenCodeのハーネスごとに、そのハーネス内での強化学習でLoRAを1つずつ学習しました。さらに3つのLoRAを1つの「スーパーアダプター」に統合しています。統合版は3つのハーネスのどれでも、変更せずにそのまま動きます。
多くのRLフレームワークは、エージェントループをフレームワーク側に再実装して学習します。今回の手法は配布形態のままのハーネスを動かし、ハーネスとvLLMの間に置いたプロキシで、ハーネスが実際に生成したトークンを記録して学習に使います。記事によると、各ハーネス別アダプターは自分の対象ハーネス上で、両ベンチマークとも性能と効率の両面でベースモデルを上回りました。Piでの改善の主な要因として、記事は推論量とツール呼び出しが減ったこと、初回の成功率が上がったことを挙げています。
主な数値
| 項目 | 値 |
|---|---|
| Terminal-Bench 2.1スコア(Pi、アダプターなし) | 39% |
| Terminal-Bench 2.1 pass@1(Pi、LoRA適用後) | 55% |
| 平均トークン/タスク(Pi、アダプターなし) | 2.9K |
| 平均トークン/タスク(Pi、LoRA適用後) | 1.5K |
| 検証を通過したHub由来の候補タスク | 1,127件中858件 |
| 難易度評価の対象タスク | 442件 |
| 全試行で正解 / 全試行で不正解 / 一部のみ正解 | 151件 / 120件 / 171件 |
| 最終データセットに直接組み入れたタスク | 278件 |
学習タスクの作り方
タスクはすべて、Terminal-Bench 2.1と同じHarbor形式です。ソースは次の3つです。
- SWE-smith:PythonとGoのリポジトリにバグを注入する
- SWE-Gym:TaskTroveでHarbor形式にパッケージ化されたもの
- Tasksmith:Repo2RLEnv内のパイプラインで、マージ済みPRからタスクを生成する
最初にメタデータで選別しました。寛容なライセンスの学習用スプリットだけを残し、重複、学習不可と指定されたタスク、対象ベンチマークの253タスク、同ベンチマークが使うリポジトリ由来のタスクを除外しています。
次にopenenv validateで意味的なチェックをかけました。チェック項目はsemantic.oracle_max、semantic.floor_gap、semantic.canary_floor、runtime.episode_determinismです。
GRPOは、全試行が成功するタスクや全試行が失敗するタスクからは学習信号を得られません。そのため、ベースモデルが一部の試行でのみ解いたタスクを学習に適格としました。
試し方・要件
- 環境:対象ハーネスをインストール済みのDockerイメージを使います。収録バージョンはPi
1.5.2、OpenCode2.2.7、Hermes Agentv0.22.6です。 - 学習:OpenEnvのHarbor連携とTRLのOpenEnvガイドに沿って進めます。Hugging Face Jobs上でTRLの
AsyncGRPOTrainer、OpenEnv、harborを使います。 - タスク検証:
openenv validate path/to/task --sandbox hf-sandboxを実行すると、Hugging Faceのサンドボックスで検証できます。 - 成果物:アダプター、GGUF、強化学習タスク、safeagentsプラグインをHugging Faceのコレクションで閲覧できます。

まだコメントはありません。