[{"data":1,"prerenderedAt":288},["ShallowReactive",2],{"content-\u002Fcontents\u002Fharnessx-agent-harness-foundry":3,"surroundPost-\u002Fcontents\u002Fharnessx-agent-harness-foundry":279},{"id":4,"title":5,"body":6,"createdAt":263,"description":264,"draft":265,"extension":266,"meta":267,"navigation":268,"path":269,"seo":270,"stem":271,"tags":272,"thumbnail":277,"updatedAt":263,"__hash__":278},"contents\u002Fcontents\u002Fharnessx-agent-harness-foundry.md","HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry",{"type":7,"value":8,"toc":232},"minimark",[9,13,17,20,23,26,29,32,35,38,41,44,47,50,53,58,61,65,68,72,75,79,82,85,88,91,94,97,100,103,106,109,112,116,119,122,125,141,144,158,162,166,169,173,176,180,183,187,190,194,197,201,204,208,211,215,218,222,225,229],[10,11,12],"h2",{"id":12},"この論文の何がいいか",[14,15,16],"p",{},"この論文は、個人 AI assistant や coding agent の改善を、モデル選びではなく harness design として捉え直す材料になる。prompt、tools、memory、approval、logging、verification、workflow を、ばらばらの設定ではなく一つの実行環境として評価できる。",[14,18,19],{},"特に、実行 trace を改善に戻す設計が重要である。日次 job、skill、wiki、article-page-publisher のような運用も、失敗ログを読んで手順を追記するだけではなく、候補 edit を作り、検証し、採用または却下する loop として扱える。",[14,21,22],{},"ゆうきさんの関心に引きつけるなら、HarnessX は『agent harness をどう育てるか』の概念モデルとして強い。skill の更新、memory の参照順、tool surface の切り方、サブエージェントの役割分担を、trace-driven に変えていく足場になる。",[10,24,25],{"id":25},"どんな論文か",[14,27,28],{},"AI agent の性能は、モデルそのものだけでは決まらない。モデルが何を観測し、どんな道具を使い、どの記憶を参照し、どの制御フローで行動するかを決める runtime harness が、実際の振る舞いを大きく左右する。",[14,30,31],{},"HarnessX の問題意識は、現在の harness が手作りで静的になりがちな点にある。新しい model や task ごとに scaffolding を組み直す必要があり、実行中に生まれる rich traces が系統的な改善へ戻りにくい。",[14,33,34],{},"この論文は、harness を composable primitives の集合として扱う。prompt、tool、memory、controller などの typed harness primitives を substitution algebra で組み替え、trace-driven multi-agent evolution engine の AEGIS で候補 harness を生成・評価する。",[14,36,37],{},"読みどころは、harness configuration を状態、typed edit を行動、execution traces と verifier scores を feedback とみなす対応づけである。これは、agent harness の改善を reinforcement learning 的な閉ループとして見るための言葉になる。",[14,39,40],{},"結果として、ALFWorld、GAIA、WebShop、tau^3-Bench、SWE-bench Verified の5ベンチで平均 +14.5%、最大 +44.0% の改善を報告している。低い baseline ほど伸びが大きいという観察も、harness 側の改善余地を示す。",[14,42,43],{},"HarnessX は、AI agent の runtime harness を composable、adaptive、evolvable にするための foundry を提案する論文である。",[14,45,46],{},"ここでいう harness は、prompt、tools、memory、control flow など、モデルが観測・推論・行動するための外部構造を指す。モデルの能力をどう引き出すかを決める実行環境に近い。",[14,48,49],{},"論文の中心主張は、agent progress は model scaling だけでなく、execution feedback から runtime interface を組み替えることでも進む、というもの。",[10,51,52],{"id":52},"課題と貢献",[54,55,57],"h3",{"id":56},"typed-harness-primitives","Typed harness primitives",[14,59,60],{},"prompt、tool、memory、controller などを、型つきの構成要素として扱い、組み替え可能な harness vocabulary にする。",[54,62,64],{"id":63},"substitution-algebra","Substitution algebra",[14,66,67],{},"既存 harness の一部を、安全に差し替えたり、組み合わせたりするための形式的な編集操作を導入する。",[54,69,71],{"id":70},"aegis","AEGIS",[14,73,74],{},"実行 trace を読み、改善計画を立て、候補 harness edit を生成し、critic が評価する trace-driven multi-agent evolution engine を提示する。",[54,76,78],{"id":77},"harness-model-loop","Harness-model loop",[14,80,81],{},"trajectory を harness updates と model training signal の両方へ戻し、runtime interface と model 側の改善をつなぐ。",[10,83,84],{"id":84},"手法のしくみ",[14,86,87],{},"入力は、既存の agent harness、実行 trajectories、task feedback、verifier scores である。HarnessX はまず実行ログから失敗や改善余地を読む。",[14,89,90],{},"Harness configuration は状態として扱われる。つまり、prompt、tool set、memory access、control flow の組み合わせが、今の agent が動く環境の状態になる。",[14,92,93],{},"Typed edit は行動として扱われる。たとえば memory の使い方を変える、tool 呼び出しの順序を変える、verification step を追加する、といった編集が候補 action になる。",[14,95,96],{},"AEGIS は複数の役割に分かれる。Digester が trace を圧縮し、Planner が改善方針を立て、Evolver が harness edit を作り、Critic が verifier signal や制約に照らして評価する。",[14,98,99],{},"採用された edit は次の harness に反映される。これにより、harness は一度作って終わりではなく、実行 feedback を受けて更新される runtime interface になる。",[14,101,102],{},"さらに、trajectory は model training signal としても使われる。harness update と model update を切り離さず、相互に補完する loop として設計している。",[10,104,105],{"id":105},"検証結果",[14,107,108],{},"論文は、ALFWorld、GAIA、WebShop、tau^3-Bench、SWE-bench Verified の5つの benchmark で評価している。",[14,110,111],{},"報告値では、HarnessX は平均 +14.5% の改善を示し、最大では +44.0% の改善が出ている。",[54,113,115],{"id":114},"改善幅は-baseline-が低い環境で特に大きいとされる","改善幅は baseline が低い環境で特に大きいとされる",[14,117,118],{},"これは、モデルそのものより、観測、道具、記憶、検証、制御の組み方に改善余地が残っていることを示唆する。",[14,120,121],{},"この結果は、agent 改善を model scaling だけに寄せず、runtime interface を合成・適応・進化させる方向にも実用的なレバーがあることを示している。",[10,123,124],{"id":124},"課題と議論",[126,127,128,132,135,138],"ul",{},[129,130,131],"li",{},"論文ページでは code が future release とされているため、現時点では実装の詳細再現性や運用コストは追加確認が必要である。",[129,133,134],{},"harness を自動更新する場合、安全な採用条件、rollback、監査ログ、変更差分の説明可能性が重要になる。",[129,136,137],{},"trace-driven evolution は強力だが、trace に含まれる private skill、secret、手順知識の保護も同時に設計する必要がある。",[129,139,140],{},"すべての task で harness を大きく変えればよいわけではない。更新対象、検証粒度、固定しておくべき境界を決める運用設計が必要になる。",[10,142,143],{"id":143},"次に読むなら",[126,145,146,149,152,155],{},[129,147,148],{},"まず Abstract と Introduction を読む。model scaling ではなく runtime interface を進化させるという問題設定を押さえる。",[129,150,151],{},"次に HarnessX overview と AEGIS の節を読む。Digester、Planner、Evolver、Critic が trace をどう harness edit に変えるかを見る。",[129,153,154],{},"実務に引くなら、Codex skill や scheduled-ops の実行ログを、どの typed edit に変換できるか考えながら読む。",[129,156,157],{},"関連して読むなら、Recursive Agent Harnesses、Code as Agent Harness、SkillOpt、RedAct を並べると、harness の再帰、実行基盤、skill 更新、trace protection がつながる。",[10,159,161],{"id":160},"読後qa","読後Q&A",[54,163,165],{"id":164},"この論文の中心問いは","この論文の中心問いは？",[14,167,168],{},"AI agent の性能を、モデル単体ではなく runtime harness の構成・適応・進化によってどう改善するか。",[54,170,172],{"id":171},"runtime-harness-とは何","runtime harness とは何？",[14,174,175],{},"prompt、tools、memory、control flow など、モデルが観測し、考え、行動するための外部構造のこと。",[54,177,179],{"id":178},"harnessx-は何を新しくする","HarnessX は何を新しくする？",[14,181,182],{},"harness を typed primitives として組み替え可能にし、実行 trace から候補 edit を生成・評価・採用する foundry として扱う。",[54,184,186],{"id":185},"aegis-は何をする","AEGIS は何をする？",[14,188,189],{},"trace を読み、改善計画を作り、harness edit を生成し、critic が検証 signal に照らして評価する trace-driven multi-agent evolution engine。",[54,191,193],{"id":192},"substitution-algebra-は何に効く","substitution algebra は何に効く？",[14,195,196],{},"prompt、tool、memory、controller などの harness 部品を、場当たり的ではなく型つきの編集操作として差し替えるために効く。",[54,198,200],{"id":199},"実験では何を示している","実験では何を示している？",[14,202,203],{},"ALFWorld、GAIA、WebShop、tau^3-Bench、SWE-bench Verified で平均 +14.5%、最大 +44.0% の改善を報告している。",[54,205,207],{"id":206},"なぜ-baseline-が低い環境で伸びる","なぜ baseline が低い環境で伸びる？",[14,209,210],{},"モデル能力だけでなく、観測、道具、記憶、検証、制御の組み方に未回収の改善余地が大きい可能性があるため。",[54,212,214],{"id":213},"個人-assistant-運用にどう効く","個人 assistant 運用にどう効く？",[14,216,217],{},"skill、wiki、scheduled job、article publisher を、固定手順ではなく trace から改善される harness として見直せる。",[54,219,221],{"id":220},"注意点は","注意点は？",[14,223,224],{},"自動 harness 更新には、安全な採用条件、rollback、監査、変更差分の説明可能性、trace 内の private skill 保護が必要になる。",[54,226,228],{"id":227},"次に読むなら何","次に読むなら何？",[14,230,231],{},"Recursive Agent Harnesses、Code as Agent Harness、SkillOpt、RedAct を並べると、harness の再帰、実行基盤、skill 更新、trace protection がつながる。",{"title":233,"searchDepth":234,"depth":234,"links":235},"",2,[236,237,238,245,246,249,250,251],{"id":12,"depth":234,"text":12},{"id":25,"depth":234,"text":25},{"id":52,"depth":234,"text":52,"children":239},[240,242,243,244],{"id":56,"depth":241,"text":57},3,{"id":63,"depth":241,"text":64},{"id":70,"depth":241,"text":71},{"id":77,"depth":241,"text":78},{"id":84,"depth":234,"text":84},{"id":105,"depth":234,"text":105,"children":247},[248],{"id":114,"depth":241,"text":115},{"id":124,"depth":234,"text":124},{"id":143,"depth":234,"text":143},{"id":160,"depth":234,"text":161,"children":252},[253,254,255,256,257,258,259,260,261,262],{"id":164,"depth":241,"text":165},{"id":171,"depth":241,"text":172},{"id":178,"depth":241,"text":179},{"id":185,"depth":241,"text":186},{"id":192,"depth":241,"text":193},{"id":199,"depth":241,"text":200},{"id":206,"depth":241,"text":207},{"id":213,"depth":241,"text":214},{"id":220,"depth":241,"text":221},{"id":227,"depth":241,"text":228},"2026-06-15","HarnessX は、AI agent の性能を model 単体ではなく、prompt、tools、memory、control flow からなる runtime harness の設計・適応・進化問題として扱う論文。実行 trace を使って harness を組み替え、検証し、改善する foundry を提案する。",false,"md",{},true,"\u002Fcontents\u002Fharnessx-agent-harness-foundry",{"title":5,"description":264},"contents\u002Fharnessx-agent-harness-foundry",[273,274,275,71,276],"論文まとめ","Agent Harness","Trace-driven Evolution","SWE-bench Verified","\u002Farticle-pages\u002Fdocs\u002Fassets\u002Fgraphic-recordings\u002Fharnessx-agent-harness-foundry.png","IcG9WF1lQe_KAWu9l13RfeSYTYFpI-qwKK1OPQYgF9k",[280,284],{"title":281,"path":282,"stem":283,"children":-1},"Harness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses","\u002Fcontents\u002Fharness-1","contents\u002Fharness-1",{"title":285,"path":286,"stem":287,"children":-1},"How to Interpret Agent Behavior Paper Summary","\u002Fcontents\u002Fhow-to-interpret-agent-behavior","contents\u002Fhow-to-interpret-agent-behavior",1782055096945]