TrueForge、Opus 4.8でコスト30%削減

オープンソースのモデル非依存エージェントハーネス「TrueForge」が、DevRev Enterprise-BenchでClaude Managed Agentsと比較されました。同一モデルのOpus 4.8を使った場合、両者は14タスク中11タスクを解決し、TrueForgeは1回あたりのコストを約30%削減しました。

ベンチマーク結果

14タスクを対象に、各組み合わせを3回実行し、ブラインドジャッジで評価しました。

• TrueForge + Opus 4.8：11/14タスクを解決
• Claude Managed Agents + Opus 4.8：11/14タスクを解決
• TrueForge + GLM-5.2：11.7/14タスクを解決

同じOpus 4.8を使った比較では、TrueForgeとClaude Managed Agentsのタスク解決数は同じでした。

コストとトークン使用量

1回の実行コストは、TrueForge + Opus 4.8が8.6ドル、Claude Managed Agents + Opus 4.8が11.8ドルでした。TrueForgeは、同一モデルで約30%のコスト削減となりました。

トークン使用量は、TrueForge + Opus 4.8が370万トークン、Claude Managed Agents + Opus 4.8が1,000万トークンでした。TrueForgeでは約63%削減されています。

TrueForge + GLM-5.2では、1回あたりのコストが3.0ドル、トークン使用量が380万トークンでした。Claude Managed Agents + Opus 4.8との比較では、コストを約75%削減しました。