元論文: Self-Improving Agents in the Era of Experience: A Survey of Self- to Meta-Evolution
このページは、おい丸(AI)による要約・構成案をもとに、人間が確認・加筆する前提の読書メモです。内容を正確に確認したい場合は、元論文もあわせて参照してください。
これは何のサーベイか
この論文は、自己改善するAIエージェントを「モデルが勝手に賢くなる話」としてではなく、デプロイ後の経験をどこに保存し、どう再利用し、どう検証するかというシステム設計の問題として整理する、88ページ規模のサーベイである。
著者らの中心概念は、ランタイムハーネスだ。ここでのハーネスは、単なるツール呼び出しのラッパーではない。ユーザーからの依頼、環境での実行、ログ、記憶、スキル、権限、検証、復旧、停止条件、更新先をつなぐ経験インフラとして扱われる。
論文は、デプロイ済みエージェントを、基盤モデル、変更可能なハーネス、ユーザー側、環境側の組として見る。この組の中で、ハーネスが相互作用トレースを「使える経験」に変換し、その経験をスキル、記憶、環境、モデル重み、メタ制御へ流す。著者らはこの全体を「トレースから能力への問題」と呼ぶ。
読む価値は、自己改善を一枚の地図にしてくれるところにある。失敗ログを見たときに、プロンプトへ足すのか、スキルへするのか、記憶へ入れるのか、評価器を直すのか、モデル学習へ回すのかを分けて考えられるようになる。
なぜいまこの分野を整理するのか
エージェントは運用中に大量の経験を得る。ユーザーの指示、ツール実行、ファイル編集、テスト結果、エラー、修正、フィードバック、成功した手順などがすべて経験になりうる。
しかし、経験ログをそのまま貯めても能力にはならない。ログは長く、ノイズが多く、どの行動が成功や失敗に効いたのかも分かりにくい。しかも、経験を雑にルール化すると、直近の失敗には効いても別の場面で邪魔になることがある。更新先も一つではない。経験は、外部スキル、長期記憶、実行環境、フィードバック設計、モデル重み、メタ制御のどこへでも入りうる。
一方で、既存のサーベイはこの全体を一枚では扱ってこなかった。著者らの整理では、先行サーベイは、エージェントシステム全般を扱うもの、スキルや記憶といった個別部品を扱うもの、進化そのものを扱うものの3系統に分かれる。それぞれ深いが、デプロイ後の改善はスキル、記憶、文脈、評価、安全制御が一つのランタイムループの中で相互作用して起きるため、部品ごとの見方だけでは断片化する。
このサーベイは、その交点に立つ。デプロイ後のエージェントシステムのどこが変化でき、その変化がどうすれば持続的な能力になるのかを、一つの地図として整理する。
分野の全体地図
このサーベイの分類軸
- 何が進化するのか。スキルや記憶のような外部資産か、モデル重みか、それとも改善の手順そのものか。ここを分けると、「自己改善はモデルの再学習のこと」という思い込みから離れられる。
- 進化がどこで起きるのか。経験の更新先を、スキル、記憶、実行環境、モデル重み、メタ制御という更新面に分ける。ここを分けると、失敗ログの置き場所を設計として選べるようになる。
- 改善がどう駆動されるのか。人間が確認して改訂するのか、エージェントが自己改善するのか、さらに改善プロセス自体を進化させるメタ進化まで進むのか。ここを分けると、どこまで自動化してよいかの線引きが見える。
この3軸の土台として、論文はデプロイ時刻 t のエージェントを、基盤モデル、変更可能なハーネス、ユーザー側、環境側の組として定式化する。ユーザー側は、チャット、ワークフロー画面、ユーザーの意図やフィードバックを含む。環境側は、ファイルシステム、ブラウザ、シェル、ツール、テスト、ログ、運用状態を含む。
この間にあるハーネスが、ユーザー要求をモデルに見える文脈へ変え、モデル出力を環境アクションへ変え、環境から返ってきた結果を後の更新へつなげる。重要なのは、経験を生ログのまま使わないことだ。相互作用トレースは、後で使えるようにフィルタ、圧縮、帰属、検証された「使える経験」へ変換されてから、各更新面へ流れる。
分類ごとの主要アプローチ
上の第2軸(進化がどこで起きるのか)に沿って、更新面ごとに代表的な研究と知見を見る。網羅的な一覧は元論文の各章と比較表に譲り、ここでは地図として読める数に絞る。
スキル: 経験が再利用可能な手続きになる
うまくいった操作、修正手順、道具の使い方が、後で検索・合成・実行できる手続きとして保存される。論文はスキルライブラリの一生を、作成、使用、進化の3段階ループとして整理する。
- Anthropic の Agent Skills や OpenClaw / ClawHub のマーケットプレイスは、専門家や製品開発者が書いたスキルをパッケージとして配布する作成経路で、スキル作成がプロンプトの工夫から共有パッケージの生態系へ移ったことを示す。
- SkillForge は、過去のサポートチケットと社内文書から業務ドメインのスキルを合成する。人手の執筆ではなく、既存ソースからの構築という作成経路の代表。
- Voyager は、探索で得た手順をコードとしてライブラリ化していく自動獲得の代表例。
- SkillNet は、20万件超のスキルをカテゴリ・類似・依存・合成の関係グラフとして整理する。似たスキルが平坦な山に積まれると検索が壊れる、というライブラリ組織化の問題への回答。
この章の知見として重要なのは、報告される性能向上の多くが「正しいスキルが既に文脈へ注入されている」前提に立つことだ。実運用でその前提は成り立たず、文脈と遅延の制約の中で必要なスキルを見つけ、組み合わせ、実行できるかどうかで性能が決まる。
記憶: 経験が永続的な状態になる
事実、好み、タスク状態、失敗、要約、抽象化された知見が、後の文脈を変える永続状態として残る。論文は、何をどう保存するかという表現と、書き込み・圧縮・統合・検索・更新という操作に分けて整理する。
- MemGPT は、文脈ウィンドウをOSの階層記憶のように管理し、限られた文脈と長期保存を行き来させる。
- Generative Agents は、記憶ストリームと内省によって、長期に一貫した振る舞いを作る古典的な例。
- Reflexion は、失敗を言語的な自己フィードバックとして残し、重みを変えずに次の試行を変える。
- A-MEM は、記録同士を接続し、記憶を知識ネットワークとして育てる。
次のフロンティアとして挙がるのは記憶の自己進化で、何を覚え、何を統合し、何を忘れるかの方針そのものをエージェントが調整する方向である。
実行環境: 経験の質は環境の検証可能性で決まる
エージェントが学べるのは、環境が検証可能なフィードバックを返すときだ。テスト、ログ、実行結果があるほど、行動の結果から学びやすい。
- SWE-Gym、OSWorld、WebArena、AppWorld は、ソフトウェアやOS、ウェブ、アプリ群を実行可能な環境へ変え、テストと実行結果という接地したフィードバックを出す流れの代表。
- MCP や A2A は、ツールやエージェント間の境界をプロトコルとして標準化し、環境との接続面を再利用可能にする。
この章の締めは示唆的で、「実行可能で再利用可能でも、まだ学習可能とは限らない」と述べる。環境が返す信号を、改善に使える形へ設計する仕事が残っている。
モデル重み: 安定した教訓をパラメータへ統合する
外部面で安定した振る舞いの一部は、強化学習や継続学習でモデル側へ統合される。
- SWE-RL は、ソフトウェア開発の系列に対する強化学習で、コーディングエージェント能力を事前に鍛える流れの代表。
- ToolRL や ReTool は、ツールをいつどう使うかという判断そのものを学習対象にする。
- OpenClaw-RL や Composer 系のリアルタイム強化学習は、デプロイ後のエージェントトレースからの更新を扱う。
中心問題は、外部経験をいつパラメータへ入れるべきか、入れると何を壊すかである。新しいことを学びながら古い能力を保つという、継続学習の安定性と可塑性のトレードオフが、エージェント運用の文脈で再登場する。
メタ制御: 改善プロセス自体を進化させる
論文は、デプロイ後の進化を3つの体制に分ける。タスクを解くエージェント自身が資産(スキルや記憶)を蓄積する自己進化、実行機構や改善戦略そのものを変えるメタ学習、そして専用のメタ層が改善を最適化のタスクとして扱い、メタ層自体も進化対象になるメタ進化エージェントである。
- Gödel Machine は、期待効用の改善が証明できた場合にだけ自己変更を認める理想形として置かれる。
- Darwin Gödel Machine は、その証明ゲートを経験的選択に置き換える。エージェントが自分のコードを変更し、派生版を評価し、成功した子孫をアーカイブに残す。
- AlphaEvolve は、提案・実装・テスト・採用のループを大きなスケールで回す自動改善の代表例。
横断面: 評価と安全性
どの更新面にも共通する条件として、評価と安全性が置かれる。
評価では、単発のベンチマークスコアでは自己改善を測れないとし、継続学習の語彙(忘却、転移)を出発点に、過去能力の保持、適応に使わなかったタスクでの汎化、繰り返し更新後の長期安定、コスト、安全性の非退行を最低限の測定対象として整理する。紹介される SIP-Bench は、既存ベンチマークをチェックポイント付きの長期評価プロトコルへ変換する試みで、EvoAgentBench のような自己進化向けベンチマークとも役割を分けて位置づけられる。
安全性では、自己改善を動く攻撃面として扱う。スキルのサプライチェーン攻撃、記憶の汚染、ワークフロー・ツール・プロトコルの悪用、報酬とフィードバックの操作が脅威モデルとして整理され、リリース前に固定モデルを認証するだけでは足りず、ランタイムガバナンスと継続的な再認証が実務的な防御層になるとまとめる。
分野に残る課題と今後の方向
論文が最終章で挙げる未解決問題は、かなり実務的である。
- 改善に見えるものが、モデルが元々持つ能力の引き出しにすぎないのか、本当に新しい獲得なのかを切り分けにくい。
- 弱いフィードバックでは、どのステップ、スキル、記憶が成功や失敗に効いたのかを特定しにくい。
- エージェントが自分で作った経験だけを学び続けると、分布が狭まり、劣化やドリフトが起きうる。
- スキル、記憶、ハーネス設定は、特定のモデルの癖に合わせて育つことがある。モデルバージョンが変わると、過去の経験がそのまま使えるとは限らない。
- 長期の改善を測る評価がまだ弱い。目標タスクのスコア上昇だけでは、忘却、コストの押し付け、隠れた退行を見逃す。
- 視覚や音声を含むマルチモーダル経験は、テキストほど簡単に分解・索引・帰属できない。
- スキル導入、記憶更新、ツール拡張、フィードバック選択がデプロイ後に続くため、各更新が安全境界を保つかを見続ける必要がある。
つまり、自己改善は便利なだけでなく、攻撃面と制御対象を動かす。賢くなる仕組みは、同時に壊れ方も増やす。
限界・注意点
サーベイ自体を読むときの注意点も挙げておく。
- サーベイなので、各主張の実験的な裏付けは引用先の論文に依存する。個別手法の効果を確かめるには、元論文に当たる必要がある。
- 分野の動きが速く、この整理は2026年時点のスナップショットである。関連サーベイとのカバー範囲の比較表も著者らによる分類であり、境界的な研究の判定は揺れうる。
- ハーネスを中心に置く枠組み自体が著者らの立場である。モデル中心の研究の側からは、同じ研究群に別の整理がありうる。
おい丸のようなエージェントにどう使えるか
おい丸のような作業支援エージェントに引き寄せると、この論文の一番の持ち帰りは「経験をどこに書くかを分ける」ことだ。
たとえば、失敗ログを見たときに、すぐに恒久ルールへ追記すると局所解になりやすい。ある失敗はスキル候補かもしれないし、ある失敗は記憶の検索不足かもしれない。ある失敗はツールや環境の検証不足で、ある失敗は評価器の問題かもしれない。
この論文の地図を使うなら、作業後のログを次のように振り分けられる。
- 手順として再利用できるものはスキルへ
- ユーザーやプロジェクトに関する安定した事実は記憶へ
- 実行環境の不足はツールやプロトコルへ
- 品質判断の不足は評価やチェックへ
- 更新の採否やタイミングはメタ制御へ
この分解があると、エージェント改善は「反省文を増やす作業」ではなくなる。経験を能力へ変換する小さなパイプラインとして設計できる。
誤解しやすい点
自己改善はモデルの再学習だけではない。 この論文では、外部スキル、記憶、環境、評価、メタ制御も重要な更新面である。むしろ実運用では、モデル重みより先に外部ハーネス面が変わることが多い。
ログが多いほど賢くなるわけではない。 必要なのは、生ログではなく、後で使えるように選別・圧縮・検証・帰属された経験である。
長期的に良くなったかは単発スコアでは分からない。 目標タスクの点数が上がっても、過去能力を忘れたり、安全性が落ちたり、コストが増えたりしていれば、システムとして改善したとは言いにくい。
どれから読むか
このサーベイが扱う論文群への入り口として、目的別に絞るなら次の3本。
- 「経験の時代」という発想の背景から入りたいなら、Silver と Sutton の Welcome to the Era of Experience。このサーベイの問題設定の出発点になっている。
- ハーネスをインフラとして工学的に押さえたいなら、Meng らの Agent Harness for Large Language Model Agents。実行、ツール、文脈、状態、ライフサイクル、検証というハーネスの機能を定式化する。
- 自己改善ループが実際に回る様子を見たいなら、Darwin Gödel Machine。自分のコードを変更し、経験的選択で成功した派生を残すという、このサーベイの導入部を象徴する研究。
Q&A
この論文の中心問いは？
デプロイ後のエージェントは、運用中に得た経験をどのように蓄積し、自己進化し、さらに改善プロセス自体を進化させられるのか、という問いである。
ハーネスとは何？
モデルの外側で、文脈、道具、権限、記憶、検証、復旧、停止条件、ログ、更新先を制御するランタイム層である。この論文では、経験を後の能力へ変えるインフラとして扱われる。
スキルと記憶はどう違う？
スキルは「どう行動するか」という再利用可能な手続きで、記憶は「何を保持して次に使うか」という永続状態である。どちらもモデル重みを変えずに行動を変える外部更新面だが、使われ方と腐り方が違う。
メタ進化とは何？
スキルや記憶を更新するだけでなく、何を更新するか、いつ更新するか、どの評価器を使うか、どの予算で改善するかといった改善プロセス自体を制御・更新すること。
すぐ実用できる話？
一部の狭い領域では進んでいるが、一般的な長期運用ではまだ課題が多い。特に、弱いフィードバックでの信用割当、長期評価、安全性、モデル更新をまたぐ転移が難しい。
個人AI運用に一番効く考え方は？
失敗ログや会話ログを、そのままルールへ足さないこと。まず、スキル、記憶、環境、評価、保留候補、メタ制御のどこへ置くべきかを分けることが重要になる。
関連する記事
- What makes a harness a harness は、ハーネスという言葉の境界を定義する論文です。このページの「経験インフラとしてのハーネス」を読む前提として相性がよいです。
- コードをエージェントの実行基盤として使う は、コード、テスト、実行状態をエージェントのハーネスとして見る記事です。経験がどう実行・検証・成果物化されるかを具体的に追いやすくなります。
- StructMem Paper Summary は、経験が記憶としてどう構造化されるかを見る補助線になります。自己改善の更新先のうち、記憶側を深掘りしたいときに読むとつながります。