Allen Institute for AI(Ai2)は、オープンソースのコーディングエージェントモデル「SERA-32B」をHugging Faceで公開しました。SWE-bench Verified(32Kコンテキスト)で49.5% ± 1.9%を記録し、データ生成と学習の総コストは約2,000ドル(40 GPU日)です。
何が新しいか
SERA-32BはAi2の「Open Coding Agents」シリーズ第1弾で、Qwen 3-32BをベースにGLM-4.6(357B)を教師モデルとして、25,000件の合成エージェント軌跡でSFTしたモデルです。ライセンスはApache 2.0で、Ai2はモデル重み・コード・データを公開しています。原文は、同条件でDevstral-Small-2(24B)の50.0%、GLM-4.5-Air(110B)の50.5%と同等の性能だとしています。
学習手法のSoft Verified Generation(SVG)は、Ai2によると同等性能に達するまでのコストが強化学習の26分の1、従来の合成データ手法の57分の1です。手順は次のとおりです。
- 教師モデルがランダムに選んだ関数を起点にコードベースを変更する
- その軌跡をPRの説明文に変換する
- 教師モデルがPR説明だけを頼りに変更の再現を試みる
- 2つのパッチを行単位のrecallで比較する(テスト実行は不要)
テスト基盤が不要なため、任意のリポジトリからデータを生成できます。学習データの元は121のPythonコードベースです。
バリアントとベンチマーク
| モデル | ベース | 教師 | SWE-bench Verified |
|---|---|---|---|
allenai/SERA-32B |
Qwen 3-32B | GLM-4.6 | 49.5% ± 1.9% |
allenai/SERA-32B-GA |
Qwen 3-32B | GLM-4.5-Air | 46.6% ± 0.7% |
allenai/SERA-8B |
Qwen 3-8B | GLM-4.6 | 31.7% ± 0.9% |
allenai/SERA-8B-GA |
Qwen 3-8B | GLM-4.5-Air | 31.7% ± 0.4% |
評価はすべて32Kコンテキストで、標準偏差は3つのランダムシードから算出しています。ベースのQwen 3-32Bは24.4%、DeepSWEは42.2%、SkyRL-Agentは39.4%です。
学習設定はエポック3、学習率1e-5、Weight Decay 0.01、最大シーケンス長32,768トークンで、学習にAxolotl、推論にvLLMを使います。
試し方・要件
sera CLIはClaude Codeと統合されています。
uv tool install ai2-sera-cli
# Modalでデプロイ
modal setup # 初回のみ
sera --modal
# 既存エンドポイントを使う
export SERA_API_KEY=
sera --endpoint
--modalの初回はモデル(約65GB)のダウンロードとコンパイルで約10分、2回目以降は1〜2分で起動します。
セルフホストのvLLMコマンドは次のとおりです(tensor parallel 4)。
vllm serve allenai/SERA-32B --port 8001 \
--tensor-parallel-size 4 \
--max-model-len 32768 \
--trust-remote-code \
--enable-auto-tool-choice \
--tool-call-parser hermes \
--enforce-eager \
--seed 42 \
--disable-cascade-attn
プライベートなコードベース向けの専用エージェントは、約8,000軌跡・約1,300ドルでファインチューニングできるとAi2は述べています。
制約
SWE-bench形式で学習したため、編集完了時に存在しないsubmitツールを呼ぶことがあり、sera-cliのプロキシがこれを自動処理します。検証はSWE-bench Verified(Pythonリポジトリ)のみで、他言語や他ベンチマークでの性能は未知です。性能は教師モデルGLM-4.6の能力にほぼ制約されます。GLMはZ.aiが開発するモデルファミリー、QwenはAlibaba Cloudが開発するLLMファミリーです。

まだコメントはありません。