元論文: Counterfactual Trace Auditing of LLM Agent Skills
このページは、おい丸(AI)による要約・構成案をもとに、人間が確認・加筆した合作です。内容を正確に確認したい場合は、元論文もあわせて参照してください。
これは何の論文か
この論文の中心問いは、エージェントスキルが最終的な成功率をどれだけ上げたかではなく、エージェントの行動をどのように変えたかをどう測るかである。多くのスキル評価は、スキルを付ける前後の成功率を比較する。しかし成功率は、すでに解けるタスクでは上限効果に潰され、助ける効果と壊す効果が同時に起きた場合にも差分が見えにくい。
Counterfactual Trace Auditing、略して CTA は、同じタスク・同じベースエージェントについて、スキルありの実行トレースとスキルなしの実行トレースを対にして比較する。トレースを方針決め、実装、検証、デバッグ、完了判断の段階に分け、段階と意図単位で揃え、差分を分岐記録として取り出す。
そのうえで CTA は、差分をスキル影響パターン、つまり SIP として分類する。SIP は、手順の足場かけ、端の事例への注意喚起、冗長な探索、表面的な固定、概念の混入の5種類で、よい影響、中立的な影響、悪い影響をトレース上の観測可能な形で表す。
実験は SWE-スキル-Bench の49タスクで、Claude Sonnet 4.5 をスキルあり/なしで走らせた対になるトレースを使う。平均成功率差は +0.3 ポイントとほぼ動かない一方で、CTA は696件の行動分岐と522件の SIP 事例を見つける。つまり、スキルは結果だけ見ると効いていないように見えても、実行過程はかなり変えている。
この視点は、個人アシスタントや Codex スキルの運用でも効く。スキルを増やすだけでなく、それがエージェントの探索、編集、検証、終了判断をどう変えたかを見る必要がある。
何が問題だったのか
スキルを入れて成功率が少し上がった、または変わらなかった、という結果だけでは、スキルが実際に何を変えたのかは分からない。探索を助けたのか、検証を省かせたのか、不要な概念を混ぜたのか、行動の途中過程を見る必要がある。
特に、スキルの効果は良い方向だけとは限らない。手順の足場かけになることもあれば、表面的な固定や早すぎる完了判断を誘発することもある。最終成否だけを見ると、この違いが同じ数字の中に隠れる。
CTA が扱う問題は、スキルの効果を成功率ではなく、スキルあり/なしの実行トレースの差分として読むことである。
提案手法の中身
CTA の入力は対になるトレース束である。各トレース束には、タスク仕様、スキルありトレース、スキルなしトレース、スキル文書、スキルあり/なしの成功率が含まれる。
M1 では生トレースを読み取り、書き込み、実行、検索、思考の型つきイベント列に変換する。M2 ではトレースを、方針決め、実装、検証、デバッグ、完了判断の5段階へ分割する。
M3 では、スキルありトレースとスキルなしトレースを段階単位で揃え、さらに推論テキストの TF-IDF コサイン類似度を使って意図の窓を対応づける。対応した行動窓の対象、内容、結果が違う場合や、一方にしかない行動がある場合に分岐記録を作る。
M4 では分岐記録を SIP に分類する。分類器は学習済みモデルではなく、決定的なルールベース検出器で、スコアが閾値を超えた SIP を付与する。1つの分岐に複数 SIP が付くことも、何も付かないこともある。
重要なのは、CTA が因果識別を主張しているわけではないこと。著者らは counterfactual を、同じタスク・同じベースモデルのスキルあり/なしの対になるトレースという操作的な意味で使っている。サンプリングや実行環境のばらつきまでは完全に統制していない。
どうやって確かめたのか
評価は、CTA が成功率では見えない差分をどれだけ取り出せるかを見るために組まれている。SWE-Skills-Bench のタスクで、スキルありの実行とスキルなしの実行を対にして比べる。
比較対象は、最終成功率だけを見る通常評価と、同じ課題の対になる実行トレースを段階ごとにそろえて読む CTA である。測る指標は、成功率差、行動分岐の数、Skill Influence Pattern の数、どの段階で振る舞いが変わったかである。
この節では、スキルが最終成否を変えなかった場合でも、探索、検証、提出、余計な作業のような行動を変えていないかを確認する。
結果はどうだったのか
全49タスクで、平均成功率差は +0.34 ポイント、中央値は0だった。45タスクは成功率が変わらず、改善は3タスク、悪化は1タスクだけだった。
一方で、同じ対になるトレースからは696件の行動分岐と522件の SIP 事例が見つかった。1タスク平均では分岐が14.2件、SIP が10.7件で、成功率だけでは見えない行動変化がかなり多い。
ベースライン成功率が0.9以上の上限タスクは37件あり、全 SIP の約80%にあたる415件を含んでいた。しかしこの群の平均成功率差は -0.5 ポイントで、成功率ではスキルの影響をほとんど表現できない。
中間タスクは10件で、平均成功率差は +3.6 ポイントと改善の主な余地を持っていた。ただしトークン負荷は平均2.77倍で、スキルが役に立つ場合でもかなり高い読み込み・探索コストを伴うことがある。
スキル影響パターンの分布も難易度ごとに違う
上限タスクでは表面的な固定が最多で、中間タスクや下限タスクでは端の事例への注意喚起が目立つ。つまり、どのスキル作用が起きやすいかは、タスクの難易度やベースラインの余地と結びついている。
限界・注意点
- 一番大きな制約は、モデルとベンチマークが限定されていること。実験は Claude Sonnet 4.5と SWE-スキル-Bench に基づくため、SIP の頻度を他モデルや他ドメインへそのまま一般化するのは危ない。
- 各タスクの実行はスキルあり/なしそれぞれ1回で、反復実行による分散推定はない。論文は全49タスクをカバーすることを優先しており、r=1 の観測研究として読む必要がある。
- SIP 検出器は決定的なルール集合であり、人手で作った正解ラベル集合で検証された分類器ではない。再現性と解釈性は高いが、分類体系にない失敗は拾えない。実際、早すぎる打ち切りは既存5 SIP では検出されない重要ケースとして出てくる。
- CTA はトレースが残っていることを前提にする。エージェントハーネスが推論、ツール呼び出し、ファイル書き込み、テスト実行を十分な粒度で記録していない場合、同じ監査は難しい。これは CTA の限界であると同時に、エージェントハーネス側に必要な観測性の要件でもある。
おい丸のようなエージェントにどう使えるか
おい丸のような作業支援エージェントでは、スキルは増えるほど便利になる一方で、重複、古さ、選択ミス、局所最適が起きやすい。この論文を使うなら、スキルを単なる自然言語メモではなく、評価・統合・退役の対象として扱う。
新しい経験をそのまま追記するのではなく、既存スキルへ統合するのか、原子的なルールへ分けるのか、検証タスクを作るのかを決める。その判断には、スキルあり/なしの実行トレースを比べ、探索、編集、検証、終了判断がどう変わったかを見るのがよい。
注意点として、実運用では、スキルを増やす判断だけでなく、消す判断、まとめる判断、効いているかを測る判断まで必要になる。
Q&A
この論文の中心問いは？
エージェントスキルが最終成功率をどれだけ変えたかではなく、エージェントのトレース上の行動をどう変えたかを測るにはどうすればよいか。
なぜ成功率だけでは足りないの？
ベースラインがすでに高いタスクでは上限効果で差分が出ず、さらにスキルが助ける効果と壊す効果を同時に起こすと、最終結果だけでは相殺されて見えなくなるから。
CTA は何を比較する？
同じタスク・同じベースエージェントについて、スキルありトレースとスキルなしトレースを比較する。段階と意図を揃え、どこで読み取り、書き込み、実行、検索、思考が変わったかを見る。
スキル Influence Pattern とは？
スキルがエージェントの行動に与えた影響を分類するラベル。手順の足場かけ、端の事例への注意喚起、冗長な探索、表面的な固定、概念の混入の5種類が使われる。
よい影響の SIP はどれ？
手順の足場かけと端の事例への注意喚起。前者は足りない手順を補う効果、後者は見落としがちな分岐や例外処理を促す効果として扱われる。
悪い影響の SIP はどれ？
表面的な固定と概念の混入。前者はスキルの文字列やテンプレートへの過剰な固定、後者はタスクに不要な概念や成果物を持ち込む現象を指す。
実験で一番大きな発見は？
平均成功率差は +0.3 ポイント程度なのに、同じトレースから696件の分岐と522件の SIP が見つかったこと。結果はほぼ同じでも、実行過程は大きく変わっていた。
上限タスクで何が起きた？
ベースライン成功率が高いタスクに多くの SIP が集中した。成功率には余地がないのでスキルの影響は成功率に出にくいが、表面的な固定やトークン負荷などの行動変化は残る。
中間タスクはどう違う？
改善の余地があるため成功率の上昇が見えやすい。ただし平均トークン負荷が高く、スキルが役立つ場合でも読み込みや探索のコストが大きくなることがある。
この論文を自分のスキル運用に使うなら？
スキル追加後に成功率だけで判断せず、トレースを見て、余計な探索、不要ファイル作成、テンプレートの丸写し、検証の省略、終了条件の変化を比較する。
この論文の注意点は？
SIP 検出器はルールベースで、人手の正解ラベルに対して検証された分類器ではない。また実験は Claude Sonnet 4.5 と SWE-スキル-Bench の1回実行に限られる。
一言でいうと？
スキルは成功率をほとんど変えなくても、エージェントの行動を大きく変える。だからスキル評価には、結果だけでなくトレースの監査が必要になる。
関連する記事
- エージェントスキルは本当に効いているかを測る: スキルが本当に振る舞いを変えたかを見る評価の話。
- エージェントの振る舞いをどう解釈するか: 成功/失敗だけでは見えない実行過程を読む視点。
- コードをエージェントの実行基盤として使う: トレースを残せる実行基盤の設計に近い話。