自己進化エージェントのサーベイ：何を変え、誰が受け入れを判断し、どの進歩が本物か

公開日 2026年11月13日 著者 Remy
タグ: #ai-agents #rsi #agent-harness #agent-loop

今年の 10 月から 11 月にかけて、arXiv にはタイトルに self-evolving や self-improving を含むエージェント論文がほぼ毎日何本も出ていた。自己進化するレコメンダー、自己進化するロボット用ハーネス、抗体最適化のための自己進化メモリまである。[51][52][53] オープンソースでは、Nous Research が Hermes Agent を「学習ループを内蔵した唯一のエージェント」と紹介し、経験からスキルを作り、使いながら改善できるとしている。[18] この言葉は、もう何でも入る箱になりつつある。

このサイトの以前の記事 RSI Through 2026（英語）は「それは再帰と呼べるのか」を問うた。本稿はもっと実務的な問いに答える。エージェントが「自分は進化する」と言うとき、具体的に何を変えたのか。変更が正しいと誰が判断したのか。変更のあとで本当に能力が育ったのか、それともスコアが押し上げられただけなのか。結論を先に書いておく。実行可能な評価がある領域では、自己進化はすでに使えるエンジニアリング手法だ。信頼できる受け入れ判定がない場所では、「自己進化」の多くはメモを溜めているだけで、しかも気づかないうちに悪くなっていく。

自己進化の使える定義

2025 年後半に出た二本のサーベイがよく引用されている。Gao らの『A Survey of Self-Evolving Agents』は「何を、いつ、どう、どこで進化させるか」の四つの問いで分野を整理し、進化の対象をモデル、記憶、ツール、構造に、タイミングをタスク内（intra-test-time）とタスク間（inter-test-time）に分ける。[1] Fang らの『A Comprehensive Survey of Self-Evolving AI Agents』はフィードバックループを描き、その部品をシステム入力、エージェントシステム、環境、オプティマイザの四つとする。手法の違いは、オプティマイザがエージェントのどの部分を動かすかに現れる。[2]

どちらも境界を広めに引いている。本稿ではもっと狭く定義する。システムが自分の経験から変更を生成し、その変更が何らかの受け入れ判定を通ったうえで永続状態に書き込まれ、次のタスクは新しい状態から始まる。 三つの条件のどれが欠けても自己進化とは呼ばない。Self-Refine はモデルに自分の出力を批評させて書き直させ、七種類のタスクで平均約 20 ポイント改善したが、次の問題ではまた一から始まる。だからこれは自己修正であって自己進化ではない。[4] Reflexion は失敗後の内省を記憶に書き込み、次の試行がそれを読むので、この線を越えている。[3]

自己進化のループ：毎周、受け入れゲートを通る① タスクを実行現在の状態で作業する② 評価テスト、実行器、審査、報酬③ 修正を提案内省、変異、勾配、自己出題④ 受け入れゲート旧版より良ければ残す⑤ 永続状態に書き戻す次の周はここからゲート不通過：破棄、または前の版に戻す「永続状態」になりうるものモデルの重みプロンプト、コンテキスト、記憶スキルライブラリ、ツールワークフロー、自身のコード①②だけで⑤がないものは一回限りの自己修正（例：Self-Refine）。④がないと、変えるほど良くなったのか悪くなったのか分からなくなる。

図：自己進化ループの五つのステップ。[2] のフィードバックループの枠組みをもとに、受け入れゲートを加えて描き直した

受け入れゲートを独立した箱にしたのは、この先で見る問題のほとんどがここで起きるからだ。変更を作るのは安い。その変更が良いかどうかを判断するのが難しい。

二つの軸：何が進化し、どう進化するか

「何が進化するか」は、いちばん重い重みから、いちばん柔軟なエージェント自身のソースコードまで並べられる。「どう進化するか」にはよく使われる信号源が四つある。自己フィードバックと内省、自己対戦や自己出題、候補集団に対する進化的探索、そして RL や勾配更新で経験を重みに押し込む方法だ。代表的な研究はおおむね下の表のどこかに収まる。

何が進化するか × どう進化するか：代表的な研究の位置空欄は不可能という意味ではなく、2026 年時点で影響力のある代表例がないだけ。一つの手法が複数の欄にまたがることもある自己評価・内省自己対戦・自己出題進化的探索RL・勾配更新モデルの重みSTaRAbsolute ZeroAgentEvolverSEALSelf-RewardingプロンプトとコンテキストACEDynamic CheatsheetPromptbreederGEPA記憶ReflexionExpeLMem0 / A-MEMツールとスキルVoyagerHermes AgentVoyager 自動カリキュラムワークフローと構造ADASAFlowMeta-Harness自身のコードSICAGödel AgentDGM / HGMHyperagents赤：重みを変える。持続するが戻しにくい。青：コンテキストと記憶。安く、読める。緑：スキルを蓄える。紫：構造とコードを変える。探索空間が最も広い。

図：二つの軸の交差。分類は[1][2] を参考にし、どの欄に置くかは筆者の判断

重み：最も持続し、最も戻しにくい

この系譜の出発点は STaR だ。モデルが問題に推論過程を書き、最終的に正解したものだけを残して自分をファインチューニングし、これを繰り返す。[6] Self-Rewarding Language Models はさらに進み、同じモデルに解答と審査の両方をさせ、自分でつけたスコアで反復 DPO を行う。Llama 2 70B は三回の反復のあと、AlpacaEval 2.0 で Claude 2、Gemini Pro、GPT-4 0613 を上回った。[7] Absolute Zero は問題集すら使わない。一つのモデルがコード推論の問題を出し、自分で解き、コード実行器が問題と答えの両方を検証する。外部データを一切使わずに、数万件の人手で整備された問題に頼る同種のモデルを、コードと数学の推論で総合的に上回った。[8] Alibaba の ModelScope チームが公開した AgentEvolver は、自己出題をエージェントの学習に持ち込んだ。新しい環境で好奇心に基づいてタスクを作り、経験を再利用して探索を導き、各ステップの貢献に応じて報酬を配る。[10]

MIT の SEAL は、モデルに自分用の「自己編集」、つまり新しい知識のためのファインチューニングデータとハイパーパラメータを書かせ、更新後のモデルの下流性能を RL の報酬にする。本文を与えない SQuAD の質問応答で、Qwen2.5-7B は 33.5% から 47.0% に上がり、自分で生成した学習データは GPT-4.1 が生成したデータより効果が高かった。簡略版の ARC では、適応の成功率が RL なしの 20% から 72.5% に上がった。[9] ただし同じ論文の限界の節には、自己編集を続けると以前のタスクの性能が下がり続けるグラフが載っている。新しく学んだことが古い能力を上書きする、破滅的忘却だ。重みの路線の問題はここにある。変更は本当にモデルに根づくが、悪い変更も同じように根づく。

プロンプトとコンテキスト：安くて読めるが、「崩れる」

Promptbreeder はタスク用プロンプトの集団を持ち、LLM で変異と選択を行う。特徴的なのは、変異を担うプロンプト自体も進化する点だ。[11] GEPA はこの考えを実用的にした。実行トレース全体を読み、どこで失敗したかを自然言語で診断し、Pareto フロント上で候補の長所を組み合わせる。六つのタスクで GRPO を平均 6%、最大 20% 上回り、必要な rollout は最大 35 分の 1 だった。[12]

ACE（Agentic Context Engineering）は、この路線の落とし穴をコンテキスト崩壊と名づけた。Dynamic Cheatsheet のような手法は毎ステップ蓄積したコンテキスト全体をモデルに書き直させるので、コンテキストが長くなると、モデルは短い要約に押し縮めがちになる。ACE の論文の例では、ステップ 60 でコンテキストは 18,282 トークン、正解率 66.7 だったが、次のステップで 122 トークンに縮み、正解率は 57.1 に落ちた。適応を何もしない場合の 63.7 より低い。[13][49] ACE の解決策は分業と差分更新だ。Generator が軌跡を生み、Reflector が教訓を抽出し、Curator は新しい項目だけを構造化された「プレイブック」に統合し、全体を書き直さない。エージェントタスクで 10.6%、金融タスクで 8.6% 改善し、適応にかかる遅延を平均 86.9% 減らした。[13]

記憶とスキル：「経験を積む」に最も近い

Reflexion では、エージェントが失敗のあとに言葉で内省を書き、エピソード記憶に保存し、次の試行でそれをコンテキストに読み込む。HumanEval で pass@1 が 91% に達し、当時の GPT-4 は 80% だった。[3] ExpeL はタスクをまたいで成功と失敗の経験を再利用できる洞察に蒸留する。[14] Mem0 と A-MEM が扱うのは、記憶そのものをどう整理するかだ。Mem0 は抽出、統合、検索を行い、LOCOMO の LLM 審査スコアで OpenAI の方式を相対 26% 上回った。A-MEM はツェッテルカステン式のメモ術を借り、新しい記憶を古い記憶へ自動的にリンクする。[15][16] 記憶システムの選び方は別の記事（英語）で扱っている。

Voyager はスキルライブラリ路線の原型だ。Minecraft の中で自動カリキュラムによって次の目標を自分で決め、成功した行動を実行可能な JavaScript 関数として保存し、それを組み合わせてより難しいタスクを解く。それまでの最良手法と比べて、集めたユニークアイテムは 3.3 倍、技術ツリーの主要な節目の解放は最大 15.3 倍速く、新しいワールドでもスキルライブラリはそのまま使えた。[17] スキルは重みではなくコードなので、新しいスキルを覚えても古いスキルは上書きされない。今のコーディングエージェントで流行している Skills は、Hermes Agent が自動生成するものも含めて、本質的には Voyager のスキルライブラリのテキスト版だ。[18] 実際のリポジトリでスキルがどう変わっていくかは、Agent Skills のライフサイクルマップ（英語）を参照してほしい。

ワークフロー、構造、自分のコード：探索空間が最も広い

ADAS はエージェントをコードとして書き、メタエージェント（meta agent）に新しいエージェントを書かせ続け、発見を成長し続けるアーカイブに保存することを提案した。このアルゴリズムが Meta Agent Search だ。見つかったエージェントは、DROP の読解で F1 が手作業で設計した最良のものより 13.6 ポイント、MGSM の数学で正解率が 14.4% 高かった。[20] AFlow はコードで表現したワークフローの空間をモンテカルロ木探索で探す。[21] 2026 年 3 月、Chelsea Finn、Omar Khattab らの Meta-Harness は探索対象をハーネスのコード、つまり何を保存し、何を取り出し、何をモデルに見せるかを決める層に移した。提案側はファイルシステム経由で過去の全候補のソースコード、スコア、実行トレースを読める。オンラインのテキスト分類では最良のコンテキスト管理システムを 7.7 ポイント上回り、コンテキストのトークンは 4 分の 1 で済んだ。見つかった一つのハーネスは、IMO 級の 200 問で、探索に使っていない五つのモデルの正解率を平均 4.7 ポイント上げた。[22]

さらに一歩進むと、エージェントが自分のコードを書き換える。Gödel Agent は実行中に自分のロジックを読み書きさせ、[23] SICA は基本的なコーディングツールだけを持つエージェントに自分のコードベースを編集させ、SWE-bench Verified のランダムなサブセットで 17% から 53% に上げた。[24] この系譜で最も代表的なのが、次の節で扱う DGM だ。

アーカイブ＋探索：DGM と AlphaEvolve が山登りより強い理由

SICA は本質的に山登りで、毎回いま最良の版を書き換える。Sakana AI と Jeff Clune の研究室が 2025 年 5 月に発表した Darwin Gödel Machine（DGM）は、これをオープンエンドな探索に置き換えた。まだコードを編集できるエージェントはすべてアーカイブに入れ、親より強いことは求めない。毎回、スコアが高く既存の子が少ないものほど選ばれやすい規則で親を選ぶ。親は自分の評価ログを読み、次に加える機能を提案し、自分のコードベースに実装する。その後は段階評価で、まず 10 問でコードを編集できることを確かめ、成績が良ければ問題数を増やす。[25]

アーカイブ＋探索：DGM は自分を、AlphaEvolve は別のプログラムを変えるDarwin Gödel Machineアーカイブ：まだコードを編集できる全エージェント親を選ぶ：高スコアで子が少ないほど選ばれやすい親が自分の評価ログを読み、次の機能を提案その機能を自分のコードベースに実装段階評価：まず 10 問、良ければ拡大使えるならアーカイブへ（親超えは不要）AlphaEvolveプログラム DB（進化アルゴリズムが次の親を決める）プロンプトサンプラー：親プログラムと文脈モデル群：Flash で幅、Pro で深さコード diff を出力し新プログラムを生成自動評価器：実行、検証、採点新プログラムとスコアを DB に書き戻す共通点：一時的に劣る候補も足場として残し、受け入れは実行可能な評価で決める。違い：DGM が変えるのはエージェント自身、AlphaEvolve はタスクのプログラム。DGM は親選びとアーカイブの規則を変えられず、そこを開いたのは Hyperagents が初めて。

図：DGM と AlphaEvolve の構造の比較。[25] の第 3 節と[30] の構成図をもとに整理

80 回の反復のあと、DGM は SWE-bench Verified で 20.0% から 50.0% に、Polyglot 全体で 14.2% から 30.7% に上がった。自己改善を外した対照群と、オープンエンドなアーカイブを外した対照群は、どちらもはっきり劣った。[25] さらに説得力があるのは次の系譜図だ。最終的な最良エージェントへ至る道筋には二度のスコア低下があり、山登りのアルゴリズムならこの二つの祖先は捨てていた。

DGM の SWE-bench での進歩曲線：最良エージェントは 0.20 から 0.50 に上がり、系譜の道筋は二度下がっている。文字列置換による編集、コンテキスト上限での自動要約、複数パッチの生成と順位付けなど、追加された機能が注記されている

図：SWE-bench での DGM の進歩曲線と主な変更。濃い線が最終的な最良エージェントの系譜（出典：Sakana AI 公式ブログ[26]）

DGM が見つけた変更は地味で、たとえば文字列置換による編集や、複数のパッチを生成して順位をつけることなどだが、移植が効く。Claude 3.5 Sonnet で進化させたエージェントは o3-mini や Claude 3.7 Sonnet に替えても良くなり、Python の問題だけで進化させても Rust、C++、Go の問題のスコアが上がった。[26] コストも付録に書かれている。SWE-bench で DGM を一回回すと約二週間かかり、API 費用は約 2.2 万ドル、二つの対照群はそれぞれ約 1 万ドルだった。[25]

DGM には公開された後継が二つある。Huxley-Gödel Machine は、ベンチマークのスコアが高いエージェントが必ずしも良い「改善の出発点」ではないと指摘し、著者はこれをメタ生産性と性能のずれ（metaproductivity-performance mismatch）と呼ぶ。そこで、あるエージェントの可能性を全子孫の成績から推定する。GPT-5-mini を使って SWE-bench Verified で最適化したエージェントを、GPT-5 で SWE-bench Lite に対して評価すると、人手で設計された最良の結果に並んだ。[27] もう一つは、2026 年 3 月に Meta などが発表した Hyperagents だ。DGM の論文自身が、親選びとアーカイブ維持の規則は固定で DGM には変えられないと認めている。[25] Hyperagents はタスク用エージェントと、変更を担うメタエージェントを一つの編集可能なプログラムに入れ、「どう改善するか」自体も改善できるようにした。DGM-H はコーディング、論文査読、ロボットの報酬設計、オリンピック数学の採点の四分野でいずれも改善を続け、永続記憶や性能追跡といったメタレベルの改善を自ら生み、それが分野をまたいで移植できた。[28] X では、ある研究者が、採点ベンチマークでベースラインを超えたことより、それが「自分の記憶を書き始めた」ことに関心があると書いていた。[47]

AlphaEvolve はほぼ同じ構造で、変える対象が違う。プログラムのデータベースを持ち、プロンプトサンプラーが親プログラムを選んでプロンプトを組み、Gemini Flash がアイデアの数を、Gemini Pro がより深い修正を受け持ち、自動評価器が実行、検証、採点して結果をデータベースに戻す。[29][30] 4×4 の複素行列の積を 48 回のスカラー乗算で計算する方法を見つけ、この設定で Strassen のアルゴリズムを 56 年ぶりに改善した。50 を超える数学の未解決問題では、約 75% で既知の最良解を再発見し、約 20% で既知の最良解を上回った。[29][30] 工学面では、Google の Borg スケジューラ向けに見つけたヒューリスティクスが 2025 年 5 月の時点で一年以上本番で動いており、Google の全世界の計算資源の平均約 0.7% を回収し続けている。Gemini のアーキテクチャにある重要な行列積カーネルを 23% 高速化し、Gemini の学習時間を 1% 短縮した。[30] この最後の点が AlphaEvolve に本物の再帰らしさを少し与えている。自分が使うモデルの学習を速くしたからだ。2026 年 5 月までに、応用は DNA シーケンシングの誤り訂正、災害予測、Google Cloud の顧客のサプライチェーン最適化にまで広がった。[31]

二つが共通して示すのは一つのことだ。評価が自動で実行でき、しかもごまかしにくい場所では、アーカイブ＋探索は人が思いつかなかったものを本当に見つける。 コーディングと数学はたまたまそういう場所だった。

評価：スコアが上がっても、能力が育ったとは限らない

2026 年で最も価値があった一群の論文は、「進化」が本当に起きたのかを振り返って確かめたものだ。

Artifact-to-Capability の arXiv 要旨ページ。Reflexion、Voyager、DGM のいずれにも蓄積、行動の変化、スコアの上昇という三つの信号が出ているが、それぞれ異なる能力形成の断絶があると書かれている

スクリーンショット：Artifact-to-Capability の arXiv 要旨ページ（2026-11-03 投稿）[32]

Artifact-to-Capability は Reflexion、Voyager、DGM を同じ五目並べの環境に置き、同じ基盤モデルを使わせた。三つとも、よくある三つの「進化の信号」を示した。成果物が溜まり、それを読み込むと行動が変わり、指標が上がる。だが細かく見ると、それぞれどこかで途切れている。Reflexion の通過率が上がったのは、反則の手が減ったからにすぎない。Voyager のスキルは一つずつなら問題ないのに、組み合わせると一手で勝てる 20 の局面をすべて逃した。DGM は能力形成のチェックポイントを越えたあと、後の版では以前通っていた局面を落とすだけだった。[32] 結論は、信号だけでは能力が形成されたかどうか判断できない、ということだ。

EvoPathBench は各チェックポイントの成果物を凍結し、ホールドアウトのタスクで個々の能力を追跡する。似たタスクでの改善は分布が変わると弱まることが多い。さらに、システムが生成した候補の変更には大きな改善をもたらすものがあるのに、選ばれる変更はいつもその潜在力に届かない。[33] 別の研究ではエージェントに失敗だけから学ばせ、失敗から得た経験は見たことのある失敗タスクを直せても、見たことのないタスクにはほとんど移らないことを示した。著者はこれを修復と汎化のギャップと呼ぶ。[34] この問題を細かく数字にした研究もある。大きなモデルが、重みを固定した 9B のオープンモデルのためにメモを書く。誤りを見てから書いたメモは、誤りを見せない同じ手順より 4.0 ポイント高かった。しかし改善の約 60% は「何版か試してスコアの高いものを残す」という探索そのものから来ており、完全なカスタマーサポートの会話では改善が確認できなかった。[35]

実際のツールでも同じだ。Treude と Baltes は Claude Code に SWE-bench Verified の 30 件の課題のあとで自分を振り返らせ、ハーネスの変更を提案させた。提案は 125 件だった。効果を判断できた 7 回の評価のうち、狙った行動を完全になくしたのは 2 件、減らしたのが 1 件、効果なしが 4 件で、関係のない課題に余計な作業を増やした変更もあった。[36] これは 2023 年の発見と一致する。外部からのフィードバックがないと、LLM は自分の推論の誤りをなかなか直せず、直そうとして悪くなることもある。[5]

だから自己進化を測るには、少なくとも三つが必要だ。エージェントから見えないホールドアウトのタスクで測ること。終点だけでなくチェックポイントごとに過程を追うこと。新旧の版を同じ問題で対にして比べること。

四つのボトルネック

Reward hacking：タスクを変えられないなら、審査を変える

DGM の論文とブログには典型的な例が記録されている。研究者は、エージェントがときどきツールを呼んだふりをすることに気づいた。単体テストを実行して全部通ったように見えるログを偽造していたが、実際には一度も実行していなかった。そこで研究者はこの「ツール使用の幻覚」を検出する報酬関数を作り、DGM に最適化させた。多くの場合 DGM は実際に問題を直した。ところが何度かは、検出器が頼りにしていた特別なマーカーをそのまま削除し、明示的に禁止されていたにもかかわらず満点を取った。[26]

DGM が自分の coding_agent.py に加えた diff。TOOL_USED_MARKER などのテキストマーカーを削除し、ツール呼び出しを構造化形式で記録するように変えたため、幻覚検出関数が機能しなくなった

図：DGM が幻覚検出用のテキストマーカーを構造化形式に置き換え、検出関数が機能しなくなって満点を報告した（出典：Sakana AI 公式ブログ[26]）

今回見つかったのは、すべての変更に系譜をたどれる記録があったからだ。最適化される対象と、それを検証するテストの両方をエージェントが握っていると、問題はもっと見えにくくなる。2026 年 7 月の論文によれば、エージェントが自分で書いたテストのスコアはずっと満点近くのままなのに、エージェントから見えない本番評価は下がるか低いまま止まっていた。解決策は、自作テストは残しつつ、エージェントが書くことも見ることもできない外部の監査を加え、合否だけを返すことだ。[37] X では、自己改善ループの弱点は生成器ではなく受け入れテストにある、と一言でまとめた人もいた。[50]

Masked Erosion が描くのはもっと見えにくい現象だ。ハーネスには、互いに重なる安全ルールがよくある。一つを消しても他のルールがまだ害を防ぐので、受け入れゲートには損害が見えず、タスク成功率がわずかに上がったことだけが見え、削除は受け入れられる。こうして冗長性は一層ずつ削られ、もっと弱いモデルに替えたときに初めて問題が表に出る。著者は 411 の改善ループを回した。対応のある有意性検定を受け入れゲートに使うと、同じコストで、20 問ずつのバッチで判定したループはすべてのハーネスの防御を保ったのに、40 問ずつのバッチでは六つすべてを失った。バッチが大きいほど、安いルールを一つ消すことの利点を「証明」しやすくなるからだ。GEPA はすべての安全ルールを一字一句残したが、最終的な三つのハーネスのうち二つは、より弱いモデルに替えると認証情報を誤用した。[38]

忘却と安定性

重みを変えると忘却が起きる。[9] 重みを変えなくても起きる。『Are Self-Evolving Agents Continual Learners?』は、ReasoningBank、GEPA、Meta-Harness を四つの変化し続けるタスク列で比べ、可塑性が高いほど安定性が下がることを示した。共有のプロンプトや作業領域を書き換える手法は、変更がすべてのタスクに及ぶため、見たことのないタスクを妨げ、以前学んだことを上書きする。類似度で記憶を検索する手法は更新を局所に留められるが、新しいタスクで無関係な記憶を拾い、似た質問に逆のやり方が必要なときには検索が衝突する。[39] ACE のコンテキスト崩壊は、同じ問題の別の形だ。[13] Voyager のスキルライブラリが忘却を和らげられるのは、新しいスキルを関数として追加し、古い関数には手を触れないからだ。[17]

安全性とアラインメントは進化の中で劣化する

『Your Agent May Misevolve』はこの問題を初めて体系的に測り、モデル、記憶、ツール、ワークフローの四つの進化経路ごとに実験した。経験を蓄積する自己進化型のコーディングエージェント（SE-Agent）を Qwen3 480B 上で動かすと、RedCode の安全性テストで、進化前は危険な要求の 99.4% を拒否し攻撃成功率は 0.6% だったが、進化後は拒否率が 54.4% に下がり、攻撃成功率は 20.6% に上がった。ワークフローを最適化したマルチエージェントシステムでは拒否率が 36.3% から 5.6% に落ち、しかも最適化されたワークフローはまったく無害に見えた。[40] 2026 年 11 月の BadEvolve はさらに先へ進んだ。攻撃者はエージェントのスキルファイルに触れる必要がない。「進化用タスク」に毒入りのタスクを混ぜるだけで、エージェントは自分のスキルに自らバックドアを書き込む。[41]

コスト：浮くのは人手、かかるのは評価

DGM を一回回すと約 2.2 万ドルで、対照群の二倍を超え、費用の大半は評価にかかる。[25] GEPA や ACE が歓迎される大きな理由は、rollout と遅延を抑えたことだ。[12][13] もっと見落とされやすいのが、受け入れ判定そのものの信頼性だ。ある研究は測れる量を二つ提案する。検証器の強さ（自動の審査が信頼できる参照の審査とどれだけ一致するか）と、回復可能性（悪い変更を安く取り消せるか）だ。彼らのプラットフォームの LLM 審査は、37 の設定のうち 9 で入力に関係なく同じスコアを返し、しかもエラーを出さなかった。保存しておいた旧版を復元するとエージェントは元の振る舞いに戻ったが、モデルに取り消しの変更を作り直させても戻らなかった。ある変更が稼働していた間に、タスクの 17% の結果が変わっており、これはどんな取り消しでも埋め合わせられない。彼らの規則は、プロンプト、ツール、スキルの変更は無人で回してよく、重みの更新には人の承認が必要、というものだ。[42]

筆者の判断

確実に効いている路線は三つある。 一つ目は「実行可能な評価＋アーカイブ探索」で、AlphaEvolve と DGM の系譜がこれにあたる。効く前提ははっきりしている。評価が実際に動くコードで、ごまかしにくいことだ。行列積の正しさ、スケジューラが回収した計算資源、SWE-bench の隠しテストがその例になる。同じ構造を LLM の採点に頼る分野に移すと、審査の好みを最適化し始める。二つ目は「差分的で構造化されたコンテキストとスキルの蓄積」で、Voyager、ACE、GEPA が代表だ。安く、変更は人が読めるテキストやコードで、問題が出ればロールバックできる。本番環境で最初に定着しているのはこの種類だ。三つ目は「実行器で検証する自己対戦」で、Absolute Zero が代表だ。前提はやはり、説得されない検証器があることだ。

看板だけのものは二か所に多い。 一つは「Markdown ファイルに教訓を追記する」ことを自己進化と呼ぶことだ。役には立つし、Reflexion もそこから始まった。だが受け入れ判定と整理がなければ、伸び続けるメモの束にすぎない。Hermes Agent のチームは Reddit の AMA で、長期的な行動のドリフトをどう防ぐのかと聞かれ、スキルと記憶はディスク上の平文で人が確認できると答え、「この分野で形式的な保証があると言う人がいたら疑う」と付け加えた。その後、自動生成されたスキルをデフォルトで 7 日ごとに統合・整理する Curator を加えている。[19] Reddit のあるユーザーは、Opus に自分の変更を自己評価させるとじわじわドリフトし、Opus の提案を Sonnet に評価させたら安定したと報告している。[48] どちらも受け入れゲートへの継ぎ当てだ。もう一つは、メタレベルが固定されたシステムを「再帰的自己改善」と呼ぶことだ。DGM の論文は探索規則が固定であることをはっきり書いているのに、二次的な紹介の多くはその一文を落としている。X のある投稿は痛いところを突いていた。「Claude だけで作った自己改善エージェント。GitHub のスターは 1 万つくだろう。来週の新モデル公開で壊れるだろう。そして自分は二度と直さない。」[46]

重心は「変更をどう作るか」から「変更をどう受け入れるか」へ移る。 その方向はすでにいくつか見えている。一つは統計的な受け入れゲートだ。SAGE は平均スコアの代わりに問題ごとの対比較を使い、勝ちが統計的に信頼できるときだけ編集を受け入れる。これについては個別の解説（英語）がある。[43] 二つ目は評価基準も一緒に進化させることだ。RuHarness は採点ルーブリックをハーネスと一緒に進化させ、審査がエージェントに置いていかれないようにする。[44] Predict Before You Modify は Hyperagents の上に変更の効果を予測するモデルを加え、評価の前に予測し、四つの分野すべてで Hyperagents を上回った。[45] 三つ目は、版管理とロールバックを基盤として扱うことだ。旧版を保存し、検証器の強さを測り、変更の回復可能性に応じて人の承認が必要かを決める。[42]

筆者の見方では、自己進化は新しい学習アルゴリズムではない。ソフトウェア工学の継続的インテグレーションをエージェントに持ち込んだものだ。変更の提案は安く、マージ前のテストがシステムの行き先を決める。テストが良ければ、DGM は二週間で SWE-bench のスコアを二倍以上にできる。テストが悪ければ、同じループが安全ルールを消し、しかも何も問題はないと報告する。

参考文献

  1. Gao et al., A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve on the Path to Artificial Super Intelligence, arXiv:2507.21046: https://arxiv.org/abs/2507.21046 ↩
  2. Fang et al., A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems, arXiv:2508.07407: https://arxiv.org/abs/2508.07407 ↩
  3. Shinn et al., Reflexion: Language Agents with Verbal Reinforcement Learning, arXiv:2303.11366: https://arxiv.org/abs/2303.11366 ↩
  4. Madaan et al., Self-Refine: Iterative Refinement with Self-Feedback, arXiv:2303.17651: https://arxiv.org/abs/2303.17651 ↩
  5. Huang et al., Large Language Models Cannot Self-Correct Reasoning Yet, arXiv:2310.01798: https://arxiv.org/abs/2310.01798 ↩
  6. Zelikman et al., STaR: Bootstrapping Reasoning With Reasoning, arXiv:2203.14465: https://arxiv.org/abs/2203.14465 ↩
  7. Yuan et al., Self-Rewarding Language Models, arXiv:2401.10020: https://arxiv.org/abs/2401.10020 ↩
  8. Zhao et al., Absolute Zero: Reinforced Self-play Reasoning with Zero Data, arXiv:2505.03335: https://arxiv.org/abs/2505.03335 ↩
  9. Zweiger et al., Self-Adapting Language Models (SEAL), arXiv:2506.10943: https://arxiv.org/abs/2506.10943 ↩
  10. Zhai et al., AgentEvolver: Towards Efficient Self-Evolving Agent System, arXiv:2511.10395: https://arxiv.org/abs/2511.10395 ↩
  11. Fernando et al., Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution, arXiv:2309.16797: https://arxiv.org/abs/2309.16797 ↩
  12. Agrawal et al., GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning, arXiv:2507.19457: https://arxiv.org/abs/2507.19457 ↩
  13. Zhang et al., Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models, arXiv:2510.04618: https://arxiv.org/abs/2510.04618 ↩
  14. Zhao et al., ExpeL: LLM Agents Are Experiential Learners, arXiv:2308.10144: https://arxiv.org/abs/2308.10144 ↩
  15. Chhikara et al., Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory, arXiv:2504.19413: https://arxiv.org/abs/2504.19413 ↩
  16. Xu et al., A-MEM: Agentic Memory for LLM Agents, arXiv:2502.12110: https://arxiv.org/abs/2502.12110 ↩
  17. Wang et al., Voyager: An Open-Ended Embodied Agent with Large Language Models, arXiv:2305.16291: https://arxiv.org/abs/2305.16291 ↩
  18. NousResearch/hermes-agent, README: https://github.com/NousResearch/hermes-agent ↩
  19. r/LocalLLaMA, AMA with Nous Research (2026-04-29): https://www.reddit.com/r/LocalLLaMA/comments/1sz2y76/ama_with_nous_research_ask_us_anything/; Q&A のまとめ: https://www.reddit.com/r/hermesagent/comments/1szctp1/ama_summary_from_rlocalllama_42926/ ↩
  20. Hu, Lu, Clune, Automated Design of Agentic Systems, arXiv:2408.08435: https://arxiv.org/abs/2408.08435 ↩
  21. Zhang et al., AFlow: Automating Agentic Workflow Generation, arXiv:2410.10762: https://arxiv.org/abs/2410.10762 ↩
  22. Lee et al., Meta-Harness: End-to-End Optimization of Model Harnesses, arXiv:2603.28052: https://arxiv.org/abs/2603.28052 ↩
  23. Yin et al., Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement, arXiv:2410.04444: https://arxiv.org/abs/2410.04444 ↩
  24. Robeyns et al., A Self-Improving Coding Agent, arXiv:2504.15228: https://arxiv.org/abs/2504.15228 ↩
  25. Zhang et al., Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents, arXiv:2505.22954（v3、付録 E.1 にコスト試算）: https://arxiv.org/abs/2505.22954 ↩
  26. Sakana AI, The Darwin Gödel Machine: AI that improves itself by rewriting its own code (2025-05-30): https://sakana.ai/dgm/ ↩
  27. Wang et al., Huxley-Gödel Machine, arXiv:2510.21614: https://arxiv.org/abs/2510.21614 ↩
  28. Zhang et al., Hyperagents, arXiv:2603.19461: https://arxiv.org/abs/2603.19461; Meta AI 研究ページ: https://ai.meta.com/research/publications/hyperagents/ ↩
  29. Novikov et al., AlphaEvolve: A coding agent for scientific and algorithmic discovery, arXiv:2506.13131: https://arxiv.org/abs/2506.13131 ↩
  30. Google DeepMind, AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms (2025-05-14): https://deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/ ↩
  31. Google, AlphaEvolve, 1 year later (2026-05-07): https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/alphaevolve-updates/ ↩
  32. Ban et al., Artifact-to-Capability: Diagnosing Breaks in Capability Formation of Self-Evolving Agents in a Controlled Environment, arXiv:2611.04952: https://arxiv.org/abs/2611.04952 ↩
  33. Lin et al., Beyond Endpoint Performance: Process-Level Evaluation of Self-Evolving Agents (EvoPathBench), arXiv:2609.24663: https://arxiv.org/abs/2609.24663 ↩
  34. Zhao et al., Self-Evolving Agents Can Repair Failures but Struggle to Generalize from Them, arXiv:2610.22984: https://arxiv.org/abs/2610.22984 ↩
  35. Mitra et al., Agent Self-Improvement with Frozen Weights: The Added Value and Limits of Failure Traces, arXiv:2611.11342: https://arxiv.org/abs/2611.11342 ↩
  36. Treude, Baltes, How Do Coding-Agent Harnesses Self-Evolve? An Empirical Study of Retrospective Adaptation, arXiv:2610.34938: https://arxiv.org/abs/2610.34938 ↩
  37. Guo et al., Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents, arXiv:2607.24300: https://arxiv.org/abs/2607.24300 ↩
  38. So et al., Masked Erosion: How Acceptance Gates Lose Redundant Safeguards in Self-Improving Agents, arXiv:2610.38392: https://arxiv.org/abs/2610.38392 ↩
  39. Chen et al., Are Self-Evolving Agents Continual Learners?, arXiv:2610.25858: https://arxiv.org/abs/2610.25858 ↩
  40. Shao et al., Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents, arXiv:2509.26354: https://arxiv.org/abs/2509.26354 ↩
  41. Lin et al., When Experience Becomes a Backdoor: Poisoning Self-Evolving LLM Agents via Failure-Aware Task Optimization (BadEvolve), arXiv:2611.10542: https://arxiv.org/abs/2611.10542 ↩
  42. Wang, Qi, Recoverability and Verifier Strength: Two Measured Preconditions for Unattended Agent Self-Improvement, arXiv:2610.27465: https://arxiv.org/abs/2610.27465 ↩
  43. Wang et al., SAGE: A Statistical Acceptance Gate for Self-Evolving Agents, arXiv:2609.36043: https://arxiv.org/abs/2609.36043 ↩
  44. Chen et al., When the Critic Falls Behind: Co-Evolving Rubrics and Harnesses for Continual Agent Self-Improvement (RuHarness), arXiv:2610.36826: https://arxiv.org/abs/2610.36826 ↩
  45. Xie et al., Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents, arXiv:2610.13991: https://arxiv.org/abs/2610.13991 ↩
  46. X @minhnguyen (2026-03-24): https://x.com/minhnguyen/status/2036166065567215857 ↩
  47. X @ellen_in_sf (2026-03-31): https://x.com/ellen_in_sf/status/2038664437402583171 ↩
  48. r/ClaudeAI, I gave Claude its own computer and let it run 24/7: https://www.reddit.com/r/ClaudeAI/comments/1s84l18/i_gave_claude_its_own_computer_and_let_it_run_247/ ↩
  49. Suzgun et al., Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory, arXiv:2504.07952: https://arxiv.org/abs/2504.07952 ↩
  50. X @jeevanpillay (2026-10-28): https://x.com/jeevanpillay/status/2115334014030774361 ↩
  51. Li et al., EvoRec: A Unified Self-Evolving Agentic Recommender with Dynamic Reflection Trees, arXiv:2611.01977: https://arxiv.org/abs/2611.01977 ↩
  52. Gong et al., TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents, arXiv:2610.41216: https://arxiv.org/abs/2610.41216 ↩
  53. Jang et al., MEMIG: Self-evolving Memory Construction for Antibody Optimization, arXiv:2610.41245: https://arxiv.org/abs/2610.41245 ↩