これは何の論文か
Shepherd: A Runtime Substrate Empowering Meta-エージェント with a Formalized Execution Traceは、エージェントをただ実行するのではなく、その実行をあとから操作できる対象として扱うための実行環境基盤を提案する論文。
普通のエージェント実行では、モデルが考え、ツールを呼び、ファイルや環境を変更し、ログが残る。失敗したら、そのログを人間や別エージェントが眺めて「次はこうしよう」と考える。しかし Shepherd は一歩進めて、実行途中の状態を 分岐し、別の分岐を走らせ、必要なら元に戻し、過去の地点から 再生 することを実行環境の基本操作にする。
重要なのは、これは単なるログ管理ではないこと。論文は、エージェントの行動を 型つきイベントとして Git風の実行トレースに記録し、エージェント プロセスと ファイルシステム を一緒に 分岐 / 再生できるようにする。つまり、会話履歴だけでなく、環境の状態まで含めて「その時点のエージェント」を再利用可能にする。
ざっくり言うと、Shepherd は「エージェントの実行を Gitの ブランチ のように扱えるようにする」論文。メタエージェントはその ブランチ を見て、介入し、分岐させ、良い経路を選べる。
何が問題だったのか
メタエージェントが作業エージェントを改善・監督・学習に使おうとしても、現在の実行基盤では過去状態への正確な復帰や分岐が難しい。
普通のログは、あとから読む記録としては役に立つ。しかし、実行中のある地点へ戻り、別の判断を試し、その差分を監督や学習に使うには弱い。外部世界への作用、可逆性、スコープ、履歴の整合性を扱えないと、危ない地点から分岐して試すことができない。
Shepherd が扱う問題は、エージェントを賢くすることではなく、エージェントを監督、分岐、再生、学習に使える実行基盤をどう作るかである。
既存のエージェント実行基盤は、実行を前へ進めることには向いているが、過去状態へ戻って別経路を試すことや、作用を型つきで管理することは弱い。ログは残っていても、それがそのまま再実行可能な状態になるわけではない。
また、監督、反実仮想最適化、強化学習訓練は別々に扱われがちだった。Shepherd は、どれも「実行履歴を分岐・再生できるか」という同じ基盤問題として見る。
Shepherd は、その不足を実行トレースそのものの扱い方から変える。ログをあとで読むだけではなく、タスク、作用、スコープ、実行履歴を分岐や再生の対象にすることで、監督役が危ない地点から別経路を試せるようにする。
提案手法の中身
4つの基本単位
Shepherdは 関数型プログラミング の発想をエージェント型実行に持ち込み、作用を伴う処理を「何をするか」と「どう世界に反映するか」に分ける。論文では、エージェント実行を扱うために4つの単位を第一級にする。
Task
エージェントの振る舞いそのもの。単なるプロンプトではなく、実行可能な関数として扱われる。
Effect
エージェントの行動。意図と結果を分けて記録し、可逆なもの、補償可能なもの、不可逆なものを区別する。
スコープ
エージェントが走る環境。サンドボックス、モデルプロバイダ、ツール面 を含み、分岐 / 統合 / 破棄 の対象になる。
Execution トレース
過去の状態を Git風の コミットグラフとして残す。過去地点へ戻り、そこから別の分岐を走らせられる。
分岐 / 再生 が何を変えるか
失敗したエージェント実行を改善したい時、普通は最初から再実行するか、ログを読んでプロンプトやコードを直す。Shepherd では、失敗直前の地点を 分岐して、別の一手だけを試すことができる。これは デバッグ、監督、RL 実行のいずれにも効く。
論文で面白いのは、ファイルシステム だけでなくエージェント プロセスと メッセージ接頭辞 も一緒に扱うこと。これにより 再生 時にプロンプトキャッシュを再利用しやすく、メタエージェントが多数の分岐を試す時のコストを抑えられる。
どうやって確かめたのか
評価は、分岐と再生が実際に監督、最適化、訓練の役に立つかを見るために組まれている。CooperBench のライブ監督、過去地点から別経路を探す反実仮想最適化、TerminalBench-2 の Tree-RL 訓練という3つの使い方で確認する。
比較対象は、分岐や再生を持たない通常の実行、既存のメタ最適化手法、通常の強化学習設定である。測る指標は、タスク成功率、過去地点からやり直した時の改善、訓練で得られる方策の性能である。
この節では、Shepherd が単一ベンチマーク専用の小技ではなく、実行を巻き戻して別経路を試せる基盤として複数の改善ループに使えるかを見る。
結果はどうだったのか
論文は Shepherd を3つの使い方で評価する。どれも「実行を分岐できる」ことが直接効く設計になっている。
ライブ監督
CooperBenchの ペアコーディングで、ライブ監督役 による介入により 成功率が 28.8% から 54.7% へ上がる。
反実仮想最適化
メタエージェントが過去地点から別経路を探索し、4 ベンチマークで MetaHarnessや GEPA を上回る。最大 11 ポイント改善し、実時間 も最大 58% 下がる。
Tree-RL訓練
メタエージェントが選んだ ターンから実行を分岐し、TerminalBench-2で Qwen3.5-35B-A3B の性能を 34.2% から 39.4% に上げる。
- 結果の読みどころは、単にベンチマークスコアが上がったことではない。分岐/再生 可能な実行基盤があると、監督、探索、訓練が同じ基盤の上に乗る、という点が強い。
限界・注意点
Shepherdは 存在証明 色が強い。つまり、これがそのまま全エージェント 基盤 の最終形というより、メタエージェントが実行トレースを操作できると何が可能になるかを示す論文として読むのがよい。
- 不可逆な 作用、たとえば外部送信や支払いなどは巻き戻しできず、監査対象として記録するしかない。
- 反実仮想再生は、過去の編集と副作用が弱く結合していることをある程度仮定する。
- メタエージェント自体のコストや品質が結果に影響するため、基盤と 監督役の知能 の寄与を分けて読む必要がある。
- エージェントがこの基盤を自分で使いこなすには、事後訓練や UI / API 設計がさらに必要になる。
それでも、エージェントを「一回走らせてログを読むもの」から「分岐可能な実行成果物を残すもの」へ移す補助線としてかなり強い。記憶、スキル、評価をまとめる下層として読める。
おい丸のようなエージェントにどう使えるか
直前に読んだ コーパスを直接歩く検索エージェントは、エージェント型検索において検索インターフェースを太くする話だった。Shepherd はそれに対して、エージェント型実行のインターフェースを太くする話に見える。
記憶の議論では「何を保存するか」に目が行きがちだが、Shepherd を読むと「保存されるべき経験とは、そもそもどの粒度の実行なのか」という問いが出てくる。会話ログか、ツール呼び出しか、ファイルシステム差分か、サンドボックス状態か、分岐した別経路か。ここを設計しないまま記憶を足しても、再利用できる経験にはなりにくい。
まず Abstract と Figure 1
Shepherd が何を基盤と呼んでいるか、作業エージェントと メタエージェントの関係を見る。
次に Section 3
タスク / 作用 / スコープ / 実行トレースの対応関係を押さえる。ここが論文の核。
最後に Section 5
ライブ監督、CRO、Tree-RL の3用途を見る。自分のハーネスに転用できる発想が一番拾える。
Q&A
Q. この論文の一番大きい主張は？
A. メタエージェントが作業エージェントを監督・改善・訓練するには、実行履歴を分岐・巻き戻し・再生できる基盤が必要だ、という主張。
Q. 記憶論文なの？
A. 直接の記憶論文ではない。ただし「経験をどの粒度で成果物化するか」という意味では、エージェント記憶の前提を作る論文として読める。
Q. Git風 トレースとは何？
A. エージェントの 作用の流れをコミットグラフのように扱うこと。過去状態を参照し、分岐し、別経路を走らせられる。
Q. ただの チェックポイント / 復元 と違う？
A. ファイルシステム だけでなく、エージェント プロセス、メッセージ接頭辞、ツール 作用、スコープ 操作を一体で扱うところが違う。
Q. 結果は何が強かった？
A. ライブ監督、反実仮想最適化、Tree-RL訓練 の3つで、分岐/再生できることが直接スコアや 実時間 に効いている。
Q. 自分の運用にどう効く？
A. Discord / wiki / 公開ページ のログを残すだけでなく、エージェント実行そのものを再利用可能な成果物として残す設計に目が向く。
Q. スキルとどうつながる？
A. スキルを改善するには、成功・失敗した実行のどの地点を変えればよかったかを見る必要がある。Shepherd はその分岐実験をしやすくする。
Q. ハーネス設計的には？
A. ハーネスは「エージェントの外側の配線」だけでなく、実行履歴、環境状態、分岐実験、評価を支える実行環境でもある、という見方が得られる。
Q. 読後に残る一言は？
A. エージェントの経験は、ログとして保存するだけでは弱い。分岐して試せる実行トレースにして初めて、改善や学習の材料になる。
関連する記事
Remember the Decision, Not the Description
Shepherd が実行トレースの粒度を問うなら、こちらは記憶が意思決定に何を残すべきかを問う。
SkillEvolver
実行失敗からスキルを改善する話。Shepherd のトレース / 分岐 と合わせて読むと、スキル改善ループの絵が見えやすい。
ComplexMCP
ツールサンドボックスでエージェントがどこで失敗するかを見るベンチマーク。Shepherd の実行環境基盤と評価面で接続しやすい。