27Bモデルが自身の重みを推論で書き換え、未見問題で6.6ポイント向上

Jiajun Fanら11人の著者は、言語モデルが勾配計算や追加学習なしに自らの推論で自身の重みを書き換える手法「self-rewriting」を論文「Language Models Can Rewrite Their Own Weights」(arXiv:2611.21885)で発表し、公開27Bモデルが未見問題の正答率を6.6ポイント改善したと報告しました。論文は2026年11月16日にv1、11月18日にv2が投稿されています。

何が新しいか

著者らは、モデル自身がオプティマイザになる点を新しさとしています。従来研究ではフロンティアモデルがはるかに小さいモデルを編集していましたが、本論文では27Bモデルが自分の重み、採点済みの回答、自身を実行できる環境を与えられ、自らの失敗を診断してその背後にある重みを書き換えます。処理は順伝播のみで、勾配計算や追加学習は行いません。

主な結果

項目 結果
実験モデル 公開の27Bモデル
未見問題での正答率改善 +6.6ポイント
正答率が上がり続けた連続セッション 8回
破損コピー修復後の未見画像タスク正答率 元モデルの80%超
  • 継続改善: モデルは編集案を練習問題で検証し、効果があった編集だけを採用します。各編集が前回を上回り、8セッション連続で精度は上昇のみでした。
  • 自己修復: ほぼ何も解けない破損コピーを、再学習なし、元の重みを一切参照せずに、未見の画像タスクで元の正答率の80%超まで回復させました。
  • 規模依存: 同一モデル系列では、小規模モデルは編集しないか自身の性能を損ね、改善と修復に成功したのは最大のモデルだけでした。

背景と意味

著者らは、推論時に追加計算を行うtest-time scalingと違い、self-rewritingは改善を重みに書き込むため回答ごとの追加コストが生じず、また学習と違いサービング同様に順伝播だけで動くと説明しています。さらに、学習と推論の壁は道具の制約であって知能の性質ではないとし、self-rewritingを再帰的自己改善に向けた必要なステップと位置づけています。Hacker Newsでは86ポイント・25コメントを集めました。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内