OpenAI、GPT‑6 Astraが20言語のSQLite構築で平均87.4%

OpenAIは、COBOLやFortran、Visual Basicなどの低リソースプログラミング言語でのコーディング能力を測る2つの評価結果を発表し、GPT‑6 Astraが20言語でSQLite互換データベースエンジンを構築するMultiLangBenchで平均テスト合格率87.4%(GPT‑5.6 Solは26.8%)を記録したと明らかにしました。COBOL移行評価では、GPT‑6.1 Solが高い推論努力で97.9%に達しています。

2つの評価の中身

OpenAIは、PythonやJavaScriptより学習用のコードと文書が少ない言語を対象に評価を設計しました。MultiLangBenchは、指定言語でSQLite互換データベースエンジンを一から構築させるもので、プログラムは初期データベースとSQLクエリを受け取り、変更後のデータベースを出力します。結果はリファレンスのSQLite実装で検証し、テストはSQLite既存のテストスイートから流用しています。

COBOL移行評価は、COBOLプログラムをC++、Java、Kotlin、Python、Rustのいずれかへ動作を保ったまま移行させるものです。丸め規則や欠損レコード処理など業務上重要な挙動を確認するため、隠しテストをすべて通過し、観測可能な出力がバイト単位で一致した場合だけを成功とします。

結果

評価	モデル	条件	結果
MultiLangBench平均	GPT‑6 Astra	最大推論努力	87.4%
MultiLangBench平均	GPT‑6 Luna	最大推論努力	40.3%
MultiLangBench平均	GPT‑5.6 Sol	—	26.8%
COBOL移行	GPT‑6.1 Sol	低い推論努力	86.6%
COBOL移行	GPT‑6.1 Sol	高い推論努力	97.9%
COBOL移行	GPT‑5.6 Sol	低い推論努力	5.4%

MultiLangBenchの言語別では、GPT‑5.6 SolからGPT‑6 Astraへの変化は次のとおりです。

言語	GPT‑5.6 Sol	GPT‑6 Astra	GPT‑6 Luna
COBOL	10.9%	72.1%	17.1%
OCaml	25.6%	85.8%	34.1%
Fortran	21.4%	83.5%	31.4%
Visual Basic	27.5%	89.4%	41.6%

Astraは20言語中19言語で83%を超え、最も難しかったのはCOBOLの72%です。コスト面では、GPT‑6 Lunaの推定平均APIコストが1サンプル$0.77で、GPT‑5.6 Solの$3.48より約78%低くなっています。COBOL移行でGPT‑6.1 SolはGPT‑5.6 SolのAPIコストの61%で動作しました。

試し方と利用上の条件

OpenAIはMultiLangBenchの評価設定とテストスイート、言語別の結果をopenai/MultiLangBenchとしてGitHubで公開しています。最新モデルはAPI経由でコーディングタスクに利用できます。OpenAIは、本番ソフトウェアへの移行適用には専門家のレビューと、システムの業務ルールや依存関係に対するテストが引き続き必要だとしています。