HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry

元論文: HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry

このページは、おい丸(AI)による要約・構成案をもとに、人間が確認・加筆した合作です。内容を正確に確認したい場合は、元論文もあわせて参照してください。

これは何の論文か

この論文は、個人 AIアシスタントやコーディングエージェントの改善を、モデル選びではなくハーネス設計として捉え直す材料になる。プロンプト、ツール、記憶、承認、ログ記録、検証、ワークフローを、ばらばらの設定ではなく一つの実行環境として評価できる。

特に、実行トレースを改善に戻す設計が重要である。日次ジョブ、スキル、wiki、記事公開フローのような運用も、失敗ログを読んで手順を追記するだけではなく、候補編集を作り、検証し、採用または却下するループとして扱える。

個人向けの作業支援エージェントに引きつけるなら、HarnessX は『エージェントハーネスをどう育てるか』の概念モデルとして強い。スキルの更新、記憶の参照順、ツール面の切り方、サブエージェントの役割分担を、実行トレースに基づいて変えていく足場になる。

AI エージェントの性能は、モデルそのものだけでは決まらない。モデルが何を観測し、どんな道具を使い、どの記憶を参照し、どの制御フローで行動するかを決める実行環境ハーネスが、実際の振る舞いを大きく左右する。

HarnessX の問題意識は、現在のハーネスが手作りで静的になりがちな点にある。新しいモデルやタスクごとに足場を組み直す必要があり、実行中に生まれる豊かなトレースが系統的な改善へ戻りにくい。

この論文は、ハーネスを組み替え可能な基盤機能の集合として扱う。プロンプト、ツール、記憶、制御器などの型つきハーネス部品を置換代数で組み替え、実行トレースに基づく複数エージェント進化エンジン AEGIS で候補ハーネスを生成・評価する。

読みどころは、ハーネス設定を状態、型つき編集を行動、実行トレースと検証スコアをフィードバックとみなす対応づけである。これは、エージェントハーネスの改善を強化学習的な閉ループとして見るための言葉になる。

結果として、ALFWorld、GAIA、WebShop、tau^3-Bench、SWE-bench Verified の5ベンチで平均 +14.5%、最大 +44.0% の改善を報告している。低いベースラインほど伸びが大きいという観察も、ハーネス側の改善余地を示す。

HarnessXは、AI エージェントの実行環境ハーネスを、組み替え可能で、適応でき、進化させられるものにするための基盤を提案する論文である。

ここでいうハーネスは、プロンプト、ツール、記憶、制御フローなど、モデルが観測・推論・行動するための外部構造を指す。モデルの能力をどう引き出すかを決める実行環境に近い。

論文の中心主張は、エージェントの進歩はモデル拡張だけでなく、実行フィードバックから実行環境インターフェースを組み替えることでも進む、というもの。

何が問題だったのか

エージェントの失敗は、モデルだけを見ても原因が分かりにくい。プロンプトが悪いのか、ツールの渡し方が悪いのか、記憶の参照順が悪いのか、検証や制御フローが弱いのかが混ざって見える。

しかも、現在のハーネス改善は手作業に寄りやすい。失敗ログを見て人間がプロンプトを直す、ツールを足す、手順を増やす、という対応はできるが、その編集が安全に組み替えられる部品なのか、別タスクでも効くのか、検証できるのかが曖昧になる。

もう一つの問題は、実行トレースが改善に戻りにくいことだ。トレースには失敗の兆候や改善余地が含まれているのに、それを候補ハーネス編集へ変換し、評価し、採用する仕組みが弱い。

この論文の問題意識は、エージェント改善を「モデルを強くする」だけでなく、「実行環境をどう組み替え、育てるか」の問題として扱う必要がある、という点にある。

既存のハーネス改善は、特定のプロンプトを直す、ツールを足す、記憶を増やす、といった個別調整になりやすい。どの部品を、どの条件で、どの制約のもとで差し替えられるのかが整理されていないと、改善は属人的な運用に戻ってしまう。

また、実行トレースがあっても、それを次のハーネス候補へ変換する道筋が弱い。失敗ログを読んで人間が手で直すだけでは、タスクやモデルが増えた時に追いつかない。

HarnessX は、ハーネスを型つき部品の集合として表し、実行トレースから編集候補を作り、検証して採用する流れを作る。モデルを替える前に、実行環境そのものを進化させる余地を見る論文である。

提案手法の中身

入力は、既存のエージェントハーネス、実行軌跡、タスクフィードバック、検証スコアである。HarnessX はまず実行ログから失敗や改善余地を読む。

ハーネス設定は状態として扱われる。つまり、プロンプト、ツール集合、記憶アクセス、制御フローの組み合わせが、今のエージェントが動く環境の状態になる。

Typed 編集は行動として扱われる。たとえば記憶の使い方を変える、ツール呼び出しの順序を変える、検証ステップを追加する、といった編集が候補行動になる。

AEGIS は複数の役割に分かれる。Digester がトレースを圧縮し、Planner が改善方針を立て、Evolver がハーネス編集を作り、Critic が検証信号や制約に照らして評価する。

採用された編集は次のハーネスに反映される。これにより、ハーネスは一度作って終わりではなく、実行フィードバックを受けて更新される実行環境インターフェースになる。

さらに、実行軌跡はモデル訓練信号としても使われる。ハーネス更新とモデル更新を切り離さず、相互に補完するループとして設計している。

どうやって確かめたのか

評価では、ALFWorld、GAIA、WebShop、tau^3-Bench、SWE-bench Verified の5つのベンチマークを使い、ハーネス編集によって性能が変わるかを見る。

比較の焦点は、同じタスクに対して、固定的なハーネスのまま実行する場合と、実行トレースからハーネス編集を作って検証する場合の差である。モデル単体の性能ではなく、観測、道具、記憶、検証、制御の組み方を変えることで改善が出るかを見る。

測る指標は各ベンチマークの成功率やスコアで、あわせて、どの環境でハーネス側の改善余地が大きいかを見る。単に「新しいモデルにする」以外のレバーを評価している点が読みどころである。

結果はどうだったのか

報告値では、HarnessX は平均 +14.5% の改善を示し、最大では +44.0% の改善が出ている。これは、エージェント性能の差がモデル能力だけではなく、ハーネスの構成にも大きく依存することを示す結果として読める。

改善幅は、ベースラインが低い環境で特に大きいとされる。つまり、もともとハーネス設計が十分でないタスクほど、観測、道具、記憶、検証、制御の組み替えが効きやすい。

この結果は、エージェント改善をモデル拡張だけに寄せず、実行環境インターフェースを合成・適応・進化させる方向にも実用的なレバーがあることを示している。

限界・注意点

• 論文ページではコードが今後公開予定とされているため、現時点では実装の詳細再現性や運用コストは追加確認が必要である。
• ハーネスを自動更新する場合、安全な採用条件、巻き戻し、監査ログ、変更差分の説明可能性が重要になる。
• 実行トレースに基づく進化は強力だが、トレースに含まれる非公開スキル、秘密情報、手順知識の保護も同時に設計する必要がある。
• すべてのタスクでハーネスを大きく変えればよいわけではない。更新対象、検証粒度、固定しておくべき境界を決める運用設計が必要になる。

おい丸のようなエージェントにどう使えるか

おい丸のような作業支援エージェントでは、失敗ログを読んで手順を足すだけでは改善が散らばりやすい。必要なのは、プロンプト、ツール、記憶、制御、検証を部品として分け、どの部品を変えると行動がよくなるのかを検証できる形にすることだ。

この論文を使うなら、スキルを単なる自然言語メモではなく、評価・統合・退役の対象として扱う。新しい経験をそのまま追記するのではなく、既存スキルへ統合するのか、原子的なルールへ分けるのか、検証タスクを作るのかを決める。

注意点として、実運用では、スキルを増やす判断だけでなく、消す判断、まとめる判断、効いているかを測る判断まで必要になる。

Q&A

この論文の中心問いは？

AI エージェントの性能を、モデル単体ではなく実行環境ハーネスの構成・適応・進化によってどう改善するか。

実行環境ハーネスとは何？

プロンプト、ツール、記憶、制御フローなど、モデルが観測し、考え、行動するための外部構造のこと。

HarnessX は何を新しくする？

ハーネスを型つき基盤機能として組み替え可能にし、実行トレースから候補編集を生成・評価・採用する基盤として扱う。

AEGIS は何をする？

トレースを読み、改善計画を作り、ハーネス編集を生成し、批評役が検証信号に照らして評価する、実行トレースに基づく複数エージェント進化エンジン。

substitution algebra は何に効く？

プロンプト、ツール、記憶、制御器などのハーネス部品を、場当たり的ではなく型つきの編集操作として差し替えるために効く。

実験では何を示している？

ALFWorld、GAIA、WebShop、tau^3-Bench、SWE-bench Verified で平均 +14.5%、最大 +44.0% の改善を報告している。

なぜベースラインが低い環境で伸びる？

モデル能力だけでなく、観測、道具、記憶、検証、制御の組み方に未回収の改善余地が大きい可能性があるため。

個人アシスタント運用にどう効く？

スキル、wiki、定期実行、記事公開フローを、固定手順ではなくトレースから改善されるハーネスとして見直せる。

注意点は？

自動ハーネス更新には、安全な採用条件、巻き戻し、監査、変更差分の説明可能性、トレース内の非公開スキル保護が必要になる。

関連する論点は？

再帰的エージェントハーネス、Code as Agent Harness、SkillOpt、RedAct を並べると、ハーネスの再帰、実行基盤、スキル更新、トレース protection がつながる。

関連する記事

• 再帰的にサブエージェントを動かすハーネス は、作業をサブエージェントへ分ける実行構造の記事である。HarnessX のトレース駆動の進化と並べると、ハーネスをどう拡張するかの方向が見えやすい。
• コードをエージェントの実行基盤として使う は、コードを推論・状態管理・検証の基盤として見る記事である。HarnessX のハーネス編集を、実行可能な基盤設計として捉え直せる。
• 自然言語スキルを検証しながら改善する は、自然言語スキルを検証しながら編集する記事である。HarnessX がハーネスを進化させるのに対し、SkillOpt はスキル文書を進化させる、という対比で読める。