Ai2、コーディングエージェント「SERA-32B」をSWE-bench 49.5%で公開

スペック

総パラメータ32B
コンテキスト長32K tokens
ライセンスApache 2.0
重みの公開オープンソース(コード、モデル重み、データを公開)
4bit量子化の目安メモリ約19.2GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Allen Institute for AI(Ai2)は、オープンソースのコーディングエージェントモデル「SERA-32B」をHugging Faceで公開しました。SWE-bench Verified(32Kコンテキスト)で49.5% ± 1.9%を記録し、データ生成と学習の総コストは約2,000ドル(40 GPU日)です。

何が新しいか

SERA-32BはAi2の「Open Coding Agents」シリーズ第1弾で、Qwen 3-32BをベースにGLM-4.6(357B)を教師モデルとして、25,000件の合成エージェント軌跡でSFTしたモデルです。ライセンスはApache 2.0で、Ai2はモデル重み・コード・データを公開しています。原文は、同条件でDevstral-Small-2(24B)の50.0%、GLM-4.5-Air(110B)の50.5%と同等の性能だとしています。

学習手法のSoft Verified Generation(SVG)は、Ai2によると同等性能に達するまでのコストが強化学習の26分の1、従来の合成データ手法の57分の1です。手順は次のとおりです。

  1. 教師モデルがランダムに選んだ関数を起点にコードベースを変更する
  2. その軌跡をPRの説明文に変換する
  3. 教師モデルがPR説明だけを頼りに変更の再現を試みる
  4. 2つのパッチを行単位のrecallで比較する(テスト実行は不要)

テスト基盤が不要なため、任意のリポジトリからデータを生成できます。学習データの元は121のPythonコードベースです。

バリアントとベンチマーク

モデル ベース 教師 SWE-bench Verified
allenai/SERA-32B Qwen 3-32B GLM-4.6 49.5% ± 1.9%
allenai/SERA-32B-GA Qwen 3-32B GLM-4.5-Air 46.6% ± 0.7%
allenai/SERA-8B Qwen 3-8B GLM-4.6 31.7% ± 0.9%
allenai/SERA-8B-GA Qwen 3-8B GLM-4.5-Air 31.7% ± 0.4%

評価はすべて32Kコンテキストで、標準偏差は3つのランダムシードから算出しています。ベースのQwen 3-32Bは24.4%、DeepSWEは42.2%、SkyRL-Agentは39.4%です。

学習設定はエポック3、学習率1e-5、Weight Decay 0.01、最大シーケンス長32,768トークンで、学習にAxolotl、推論にvLLMを使います。

試し方・要件

sera CLIはClaude Codeと統合されています。

uv tool install ai2-sera-cli
# Modalでデプロイ
modal setup   # 初回のみ
sera --modal
# 既存エンドポイントを使う
export SERA_API_KEY=
sera --endpoint

--modalの初回はモデル(約65GB)のダウンロードとコンパイルで約10分、2回目以降は1〜2分で起動します。

セルフホストのvLLMコマンドは次のとおりです(tensor parallel 4)。

vllm serve allenai/SERA-32B --port 8001 \
  --tensor-parallel-size 4 \
  --max-model-len 32768 \
  --trust-remote-code \
  --enable-auto-tool-choice \
  --tool-call-parser hermes \
  --enforce-eager \
  --seed 42 \
  --disable-cascade-attn

プライベートなコードベース向けの専用エージェントは、約8,000軌跡・約1,300ドルでファインチューニングできるとAi2は述べています。

制約

SWE-bench形式で学習したため、編集完了時に存在しないsubmitツールを呼ぶことがあり、sera-cliのプロキシがこれを自動処理します。検証はSWE-bench Verified(Pythonリポジトリ)のみで、他言語や他ベンチマークでの性能は未知です。性能は教師モデルGLM-4.6の能力にほぼ制約されます。GLMはZ.aiが開発するモデルファミリー、QwenはAlibaba Cloudが開発するLLMファミリーです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内