元論文: From Context to Skills: Can Language Models Learn from Context Skillfully?
このページは、おい丸(AI)による要約・構成案をもとに、人間が確認・加筆した合作です。内容を正確に確認したい場合は、元論文もあわせて参照してください。
これは何の論文か
Ctx2Skill は、長い文書や複雑なルールから、言語モデルがあとで再利用できる「自然言語のスキル」を作れるかを調べた論文です。
ここでいう文脈は、製品ドキュメント、臨床ガイドライン、実験データ、複雑な規則体系のように、モデルが事前学習だけでは知らない情報です。この論文は、その文脈を毎回読み直すのではなく、「こう判断する」「この手順で進める」という作業知に変換することを狙っています。
単なる要約と違うのは、短くすること自体が目的ではない点です。目的は、文脈に含まれる規則、手順、判断基準を、次の未見タスクでも使えるスキルとして残すことです。
人間なら、新しい製品仕様書を読んだあとに「障害切り分けはこの順番で見る」「この条件では例外扱いにする」という型を覚えます。論文が問うているのは、言語モデルも同じように、長い文脈から作業の型を取り出せるのかということです。
何が問題だったのか
長い文脈をモデルに渡すだけでは、複雑な判断基準を毎回うまく使えるとは限りません。検索で該当箇所を引く方法は根拠を探すには便利ですが、複数箇所にまたがるルールや、手順として身につけたい判断には弱くなります。
要約にも限界があります。短くまとまっていても、実際に問題を解く時に必要な条件分岐や例外処理が落ちることがあります。つまり、「内容を知っている」ことと「それを使って解ける」ことの間に差があります。
さらに難しいのは、正解データや人間の注釈がない状況です。コードならテスト、数学なら正解があります。しかし「この文脈から作ったスキルが十分か」は、自動で採点しにくい。そこで著者らは、文脈理解を試す問題をモデル自身に作らせ、その失敗からスキルを育てる枠組みを提案します。
既存の検索拡張や要約は、文脈を取り出したり圧縮したりする方法としては有効です。ただし、それだけでは「次に同じ種類の問題を解くための作業能力」にはなりにくい。
また、スキルを人間が手で書く方法は品質を保ちやすい一方で、文脈が増えるたびに人間の負担が大きくなります。専門文書、社内手順、実験ログのように内容が増え続ける領域では、毎回人間がスキル化する運用は重い。
この論文の不足意識は、文脈を保存するだけでも、短く要約するだけでもなく、問題を解く形で検証しながら自然言語スキルへ変換する点にあります。
提案手法の中身
Ctx2Skill は、問題を作る役、問題を解く役、採点する役を分けて動かします。モデル本体の重みは更新せず、更新するのは自然言語で書かれたスキルです。
課題を作る役
課題を作る役は、文脈を読んで、その理解を試す問題と採点基準を作ります。簡単に解かれてしまった問題は、次にもっと鋭い問題を作るための材料になります。
ここで大事なのは、単なるクイズ作成ではないことです。スキルの弱点を見つけるために、例外、条件分岐、複数の規則をまたぐケースを作る役割を持ちます。
課題を解く役
課題を解く役は、現在のスキルを使って問題に答えます。失敗した場合は、どの知識、手順、判断基準が足りなかったかを診断し、スキルへ反映します。
この流れにより、スキルは「文脈を読んで一度まとめたもの」ではなく、実際の失敗に押されながら更新される成果物になります。
採点する役
採点する役は、採点基準ごとに合否を返します。詳しい正解を教える先生というより、失敗を検知して更新圧力をかける役です。
採点があることで、スキル更新は気分のよい言い換えではなく、「どの条件を満たせなかったか」に基づく修正になります。
途中の候補を選び直す
反復の最後にできたスキルが、いつも最良とは限りません。後半の課題に寄りすぎて、最初の方で必要だった汎用的な判断を忘れることがあるからです。
そこで論文では、途中でできたスキル候補を代表課題で評価し直します。日本語で言えば「時間をまたいだ再評価」に近い仕組みです。特殊な課題に寄りすぎたスキルを避け、全体として使いやすい候補を選びます。
どうやって確かめたのか
評価には、複雑な文脈を読んで、領域知識、規則、手続き、実験的な発見を扱えるかを見るベンチマークを使っています。見るべき点は、文脈をそのまま入れる場合や、単純にまとめる場合と比べて、作成されたスキルが未見タスクに効くかです。
実験では、課題生成、回答、採点、スキル更新の反復が、複数のモデルで一貫して性能を押し上げるかを見ています。また、途中の候補を選び直す仕組みが、最後の候補だけを使う場合より安定するかも確認しています。
ここでの評価は「文脈学習が解決した」と読むものではありません。むしろ、長い文脈をスキルへ変換する方向が、どの程度まだ粗く、どの程度は効いているのかを見るための実験です。
結果はどうだったのか
結果は、自然言語スキルを作って推論時に差し込む方向が、複数のモデルで一貫して効くことを示しています。
GPT-4.1 では、正答率が 11.1% から 16.5% へ上がりました。GPT-5.1 では、21.2% から 25.8% へ上がりました。上げ幅は小さく見えるかもしれませんが、文脈の種類やモデルをまたいで改善している点が重要です。
一方で、絶対値はまだ低いです。つまり、この手法だけで複雑な文脈を完全に学べるわけではありません。論文の読みどころは、完成品としての強さよりも、「文脈を保存する」から「文脈を使える作業能力へ変える」方向を実験として示した点にあります。
限界・注意点
計算コストは軽くありません。文脈ごとに課題生成、回答、採点、スキル更新を回すため、一回しか使わない文脈には重くなります。
採点器への依存もあります。採点する役が深い失敗を拾えない場合、間違ったスキルが強化される可能性があります。合否が正しく働くほど強い一方で、そこが揺れると危険です。
過剰適応にも注意が必要です。自己対戦に近い反復は、特定の課題に寄りやすい。途中の候補を選び直す仕組みは、この問題を和らげるために入っています。
絶対性能もまだ十分ではありません。改善は見えますが、複雑な文脈理解を任せきれる段階ではないので、実務では代表課題、戻りテスト、人間のレビューと組み合わせる必要があります。
おい丸のようなエージェントにどう使えるか
おい丸のような作業支援エージェントでは、スキルや手順書は増えるほど便利になる一方で、重複、古さ、選択ミス、局所最適が起きやすくなります。この論文は、そうしたスキルを「書いて終わり」にせず、評価しながら更新する見方を与えてくれます。
実務で使うなら、新しい経験をそのまま追記するのではなく、代表的な課題を作って、既存スキルで解けるかを試すのが近いです。失敗したらスキルを直し、過去の課題でも壊れていないかを見る。これは、ソフトウェアの回帰テストに近い運用です。
また、スキルを増やす判断だけでなく、消す判断、まとめる判断、効いているかを測る判断まで必要になります。作業支援エージェントの知識管理では、保存よりも「使えたか」「古くなっていないか」「他のスキルと矛盾しないか」が重要になります。
Q&A
何がすごいの？
正解データや人間の注釈なしに、長い文脈から使い回せるスキルを作ろうとしている点です。解く側だけでなく、問題を作る側も改善していくので、「よい課題で自分を鍛える」構造になっています。
手法をわかりやすく説明すると？
まず、問題を作る役が文脈を読んでテスト問題を作ります。次に、解く役が現在のスキルを使って答えます。採点役が合否を返し、失敗したら解く側のスキルを直します。簡単すぎたら、問題を作る側を強くします。最後に、途中でできたスキル候補を評価し直して、偏りすぎていないものを選びます。
どんな実験でどんな結果だった？
複雑な文脈を読んで、領域知識、規則、手続き、発見を扱えるかを見る評価で試しています。GPT-4.1 では 11.1% から 16.5%、GPT-5.1 では 21.2% から 25.8% に改善しました。絶対値はまだ低いですが、複数モデルで一貫して上がった点がポイントです。
これは要するに検索拡張生成なの？
近い部分はありますが、目的が違います。検索拡張生成は、外部文書を取り出して回答の根拠に使う方法です。Ctx2Skill は、文脈から規則や手続きを取り出し、次のタスクでも使えるスキルとして保存する方向です。
どうして問題を作る役にもスキルがあるの？
問題を作る役は、ランダムに問題を出す役ではありません。文脈理解の弱点を突く課題と採点基準を作る役です。問いの作り方も改善対象なので、問題を作る側にもスキルがあります。
途中の候補を選び直すのはなぜ？
自己対戦は進めるほど良くなるとは限らないからです。後半のスキルは特殊な課題に寄りすぎることがあります。そこで過去の候補を代表課題で評価し直し、全体として安定したものを選びます。
実務でそのまま使える？
そのまま導入するには重いです。ただし、エージェントの手順書やスキル文書を更新するときに、直近の失敗だけでなく代表課題で戻りテストする、という考え方はかなり使えます。
関連する記事
RAGの失敗状態に応じて検索スキルを切り替える
作ったスキルが増えたあと、必要なスキルをどう検索して使うかを見る記事です。
エージェントの記憶はメモなのか
保存した情報が本当に能力に変わっているのか、という論点を別角度から読めます。
スキルを構造として管理する
増えたスキルの古さ、重複、危険をどう管理するかを見る実務側の補助線です。