[{"data":1,"prerenderedAt":1036},["ShallowReactive",2],{"content-\u002Fcontents\u002Fllm-benchmark-map":3,"surroundPost-\u002Fcontents\u002Fllm-benchmark-map":1027},{"id":4,"title":5,"body":6,"createdAt":1013,"description":1014,"draft":1015,"extension":1016,"meta":1017,"navigation":1018,"path":1019,"seo":1020,"stem":1021,"tags":1022,"thumbnail":1025,"updatedAt":1013,"__hash__":1026},"contents\u002Fcontents\u002Fllm-benchmark-map.md","LLM・AIエージェント論文でよく見るベンチマークの読み方",{"type":7,"value":8,"toc":990},"minimark",[9,16,19,22,25,29,32,175,178,181,184,271,274,277,280,351,354,358,361,468,471,475,478,574,577,580,583,663,666,670,673,757,760,764,767,853,856,859,862,865,868,929,932,935,940,943,947,950,954,957,961,964,968,971,975,978,981,984,987],[10,11,12],"info",{},[13,14,15],"p",{},"この記事は、おい丸という AI アシスタントを使って書いています。各ベンチマークの詳細や正確な評価条件は、本文中のリンク先を見てください。",[13,17,18],{},"LLM や AI エージェントの論文を読んでいると、評価表にたくさんのベンチマーク名が並びます。MMLU、GPQA、HumanEval、SWE-bench、Terminal-Bench、LongMemEval、SkillEvolBench。名前は見たことがあっても、「このベンチマークで改善した」と言われたときに、それが何の改善なのかをすぐ説明するのは意外と難しいです。",[13,20,21],{},"同じ「性能向上」でも、MMLU が伸びた話と SWE-bench が伸びた話では意味が違います。前者は知識問題や推論問題の話で、後者は既存リポジトリを読んで修正する能力の話です。Terminal-Bench ならターミナル環境で作業を進める力、LongMemEval なら長期記憶、SkillEvolBench なら経験を再利用可能な手順に変える力が論点になります。",[13,23,24],{},"この記事では、LLM・AI エージェント論文でよく出てくるベンチマークを、評価対象ごとに整理します。目的は、ベンチ名を暗記することではありません。評価表を見たときに、「この論文は何ができるようになったと言いたいのか」を切り分けるための地図として使うことです。",[26,27,28],"h2",{"id":28},"モデル基礎性能系",[13,30,31],{},"新モデル発表でまず目に入るのが、知識・推論・数学・マルチモーダル理解を測るベンチです。モデルの基礎能力を見るには便利ですが、実際のコードベースを直したり、ターミナルで作業を完走したりできるかは別の評価で見る必要があります。",[33,34,35,54],"table",{},[36,37,38],"thead",{},[39,40,41,45,48,51],"tr",{},[42,43,44],"th",{},"ベンチマーク",[42,46,47],{},"主に見るもの",[42,49,50],{},"読むときの注意",[42,52,53],{},"出た時期",[55,56,57,78,96,114,132,151],"tbody",{},[39,58,59,69,72,75],{},[60,61,62],"td",{},[63,64,68],"a",{"href":65,"rel":66},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2009.03300",[67],"nofollow","MMLU",[60,70,71],{},"幅広い分野の知識と問題解決能力",[60,73,74],{},"基礎能力の共通言語として便利。ただし上位モデルでは差が出にくくなりやすい",[60,76,77],{},"2020-09",[39,79,80,87,90,93],{},[60,81,82],{},[63,83,86],{"href":84,"rel":85},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.01574",[67],"MMLU-Pro",[60,88,89],{},"MMLU より難しい知識・推論問題",[60,91,92],{},"選択肢数を増やし、より推論寄りにした評価として読む",[60,94,95],{},"2024-06",[39,97,98,105,108,111],{},[60,99,100],{},[63,101,104],{"href":102,"rel":103},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2311.12022",[67],"GPQA",[60,106,107],{},"専門家レベルの科学知識と推論",[60,109,110],{},"Diamond サブセットは、特に難しい評価として使われることが多い",[60,112,113],{},"2023-11",[39,115,116,123,126,129],{},[60,117,118],{},[63,119,122],{"href":120,"rel":121},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2110.14168",[67],"GSM8K",[60,124,125],{},"小中学校レベルの文章題での多段計算",[60,127,128],{},"最近の強いモデルでは飽和しやすく、差を見るには弱くなることがある",[60,130,131],{},"2021-10",[39,133,134,142,145,148],{},[60,135,136,141],{},[63,137,140],{"href":138,"rel":139},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.03874",[67],"MATH"," \u002F AIME 系",[60,143,144],{},"競技数学寄りの問題解決",[60,146,147],{},"解答だけを見るのか、途中推論や採点形式まで見るのかで意味が変わる",[60,149,150],{},"2021-03 以降",[39,152,153,166,169,172],{},[60,154,155,160,161],{},[63,156,159],{"href":157,"rel":158},"https:\u002F\u002Fmmmu-benchmark.github.io\u002F",[67],"MMMU"," \u002F ",[63,162,165],{"href":163,"rel":164},"https:\u002F\u002Fmathvista.github.io\u002F",[67],"MathVista",[60,167,168],{},"画像を含む専門知識・数学推論",[60,170,171],{},"画像理解と推論能力が混ざるため、どちらで伸びたかを分けて見る",[60,173,174],{},"2023-10 以降",[13,176,177],{},"このカテゴリで高いスコアが出ているなら、知識問題や推論問題には強いと読めます。ただし、実務やエージェント用途ではここだけでは足りません。モデルが知っていることと、環境の中で行動できることは別物です。",[26,179,180],{"id":180},"コード生成系",[13,182,183],{},"コード生成ベンチは、自然言語の仕様から短いコードを書き、テストに通るかを見るものが中心です。小さな関数生成や競技プログラミング寄りの力を見るには便利ですが、既存の大きなリポジトリを読んで修正する評価とは分けて読みます。",[33,185,186,198],{},[36,187,188],{},[39,189,190,192,194,196],{},[42,191,44],{},[42,193,47],{},[42,195,50],{},[42,197,53],{},[55,199,200,218,236,254],{},[39,201,202,209,212,215],{},[60,203,204],{},[63,205,208],{"href":206,"rel":207},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2107.03374",[67],"HumanEval",[60,210,211],{},"関数の説明文から Python 関数を生成する能力",[60,213,214],{},"小さな関数生成の指標。実務コード修正とは別物として読む",[60,216,217],{},"2021-07",[39,219,220,227,230,233],{},[60,221,222],{},[63,223,226],{"href":224,"rel":225},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2108.07732",[67],"MBPP",[60,228,229],{},"基本的な Python プログラム合成",[60,231,232],{},"入門的な問題が中心で、基礎的なコード生成力の目安になる",[60,234,235],{},"2021-08",[39,237,238,245,248,251],{},[60,239,240],{},[63,241,244],{"href":242,"rel":243},"https:\u002F\u002Flivecodebench.github.io\u002F",[67],"LiveCodeBench",[60,246,247],{},"新しい競技プログラミング問題への対応",[60,249,250],{},"継続的に新問を集めるため、古典的なベンチより汚染対策に強い",[60,252,253],{},"2024-03",[39,255,256,263,266,269],{},[60,257,258],{},[63,259,262],{"href":260,"rel":261},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.15877",[67],"BigCodeBench",[60,264,265],{},"複雑な指示と関数呼び出しを含むコード生成",[60,267,268],{},"HumanEval より実用寄りだが、リポジトリ単位の修正とはまだ違う",[60,270,95],{},[13,272,273],{},"ここで改善しているなら、短いコードを書く力は伸びたと読めます。実務で欲しい「調べる、編集する、テストする、失敗から戻る」まで含む力を見るなら、次のコーディングエージェント系を見ます。",[26,275,276],{"id":276},"コーディングエージェント系",[13,278,279],{},"コーディングエージェント系では、モデルが既存リポジトリを読み、GitHub の課題を理解し、ファイルを編集し、テストを通せるかを見ます。ここからは、モデルそのものだけでなく、エージェント実装、使えるツール、実行環境、再試行回数が結果に大きく影響します。",[33,281,282,294],{},[36,283,284],{},[39,285,286,288,290,292],{},[42,287,44],{},[42,289,47],{},[42,291,50],{},[42,293,53],{},[55,295,296,314,333],{},[39,297,298,305,308,311],{},[60,299,300],{},[63,301,304],{"href":302,"rel":303},"https:\u002F\u002Fwww.swebench.com\u002F",[67],"SWE-bench",[60,306,307],{},"GitHub の課題を解決するリポジトリ修正能力",[60,309,310],{},"コードベースと課題説明から修正差分を生成し、テストで検証する。単なるコード生成ベンチではない",[60,312,313],{},"2023-10",[39,315,316,324,327,330],{},[60,317,318,323],{},[63,319,322],{"href":320,"rel":321},"https:\u002F\u002Fwww.swebench.com\u002Fverified.html",[67],"SWE-bench Verified"," \u002F Pro 系",[60,325,326],{},"人手確認済みの一部データセットや、より難しいソフトウェア開発タスク",[60,328,329],{},"データの範囲、実行基盤、ツール、評価条件を合わせて見ないと比較しにくい",[60,331,332],{},"2024-08 以降",[39,334,335,342,345,348],{},[60,336,337],{},[63,338,341],{"href":339,"rel":340},"https:\u002F\u002Faider.chat\u002Fdocs\u002Fleaderboards\u002F",[67],"Aider Polyglot",[60,343,344],{},"複数言語でのコード編集・修正能力",[60,346,347],{},"テスト結果のフィードバックや複数回試行の扱いまで確認する",[60,349,350],{},"2024-12",[13,352,353],{},"このカテゴリの改善は、開発者にとって実感に近いです。ただし、同じモデルでもエージェント実装が違えばスコアは変わります。論文を読むときは、モデル名だけでなく、利用ツール、ステップ上限、テスト実行の扱い、失敗時のリカバリ方針まで見た方が安全です。",[26,355,357],{"id":356},"ターミナル作業環境系","ターミナル・作業環境系",[13,359,360],{},"Terminal-Bench や OSWorld のようなベンチは、モデルが「答える」だけでなく、環境の中で作業できるかを見ます。コマンドを実行し、エラーを読み、ファイルを調べ、必要なら方針を変える。AI エージェントの評価では重要度が高い領域です。",[33,362,363,375],{},[36,364,365],{},[39,366,367,369,371,373],{},[42,368,44],{},[42,370,47],{},[42,372,50],{},[42,374,53],{},[55,376,377,395,413,431,450],{},[39,378,379,386,389,392],{},[60,380,381],{},[63,382,385],{"href":383,"rel":384},"https:\u002F\u002Fwww.tbench.ai\u002F",[67],"Terminal-Bench",[60,387,388],{},"ターミナル環境での長めの作業遂行",[60,390,391],{},"ソフトウェア開発、機械学習、セキュリティ、データ分析などの作業をシェル上で進める。エージェントの実行基盤の影響が大きい",[60,393,394],{},"2026-01",[39,396,397,404,407,410],{},[60,398,399],{},[63,400,403],{"href":401,"rel":402},"https:\u002F\u002Fos-world.github.io\u002F",[67],"OSWorld",[60,405,406],{},"GUI や OS 上での自由度の高い PC 操作",[60,408,409],{},"成功率だけでなく、ステップ数、時間、操作の安定性も実用上は重要",[60,411,412],{},"2024-04",[39,414,415,422,425,428],{},[60,416,417],{},[63,418,421],{"href":419,"rel":420},"https:\u002F\u002Fwebarena.dev\u002F",[67],"WebArena",[60,423,424],{},"現実に近い Web 環境での操作能力",[60,426,427],{},"Web 操作の正しさを見る。単なるブラウザ検索による質問応答とは違う",[60,429,430],{},"2023-07",[39,432,433,441,444,447],{},[60,434,435,440],{},[63,436,439],{"href":437,"rel":438},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.12045",[67],"tau-bench"," \u002F tau2-bench",[60,442,443],{},"ユーザー対話、ポリシー遵守、ツール利用",[60,445,446],{},"顧客対応などで、会話しながら API を使い、ルールを守れるかを見る",[60,448,449],{},"2024-06 以降",[39,451,452,459,462,465],{},[60,453,454],{},[63,455,458],{"href":456,"rel":457},"https:\u002F\u002Fopenai.com\u002Findex\u002Fbrowsecomp\u002F",[67],"BrowseComp",[60,460,461],{},"Web 閲覧を伴う情報探索",[60,463,464],{},"モデル知識より、探索方針、証拠選択、ブラウザ操作が効く",[60,466,467],{},"2025-04",[13,469,470],{},"SWE-bench がリポジトリ修正に寄った評価だとすれば、Terminal-Bench はターミナルを作業環境として使えるかを広く見ます。どちらもエージェント系なので、モデル単体のランキングとして読みすぎない方がよいです。",[26,472,474],{"id":473},"長文検索rag-系","長文・検索・RAG 系",[13,476,477],{},"長いコンテキストを扱えることと、その中から必要な情報を使えることは違います。長文・検索系のベンチは、長い入力、複数文書、埋もれた情報、検索結果をどこまで扱えるかを評価します。",[33,479,480,492],{},[36,481,482],{},[39,483,484,486,488,490],{},[42,485,44],{},[42,487,47],{},[42,489,50],{},[42,491,53],{},[55,493,494,512,529,546,560],{},[39,495,496,503,506,509],{},[60,497,498],{},[63,499,502],{"href":500,"rel":501},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.14508",[67],"LongBench",[60,504,505],{},"長文理解の総合力",[60,507,508],{},"単一文書の質問応答、複数文書の質問応答、要約、少数例プロンプト、コード補完などを見る",[60,510,511],{},"2023-08",[39,513,514,521,524,527],{},[60,515,516],{},[63,517,520],{"href":518,"rel":519},"https:\u002F\u002Flongbench2.github.io\u002F",[67],"LongBench v2",[60,522,523],{},"長文での深い理解と推論",[60,525,526],{},"検索だけでなく、長文上の推論も見る",[60,528,350],{},[39,530,531,538,541,544],{},[60,532,533],{},[63,534,537],{"href":535,"rel":536},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.06654",[67],"RULER",[60,539,540],{},"実効コンテキスト長と長文内の操作能力",[60,542,543],{},"単純な埋もれた情報の検索だけでなく、複数段階の追跡や集約も見る",[60,545,412],{},[39,547,548,551,554,557],{},[60,549,550],{},"Needle-in-a-Haystack 系",[60,552,553],{},"長文内の埋もれた情報を拾えるか",[60,555,556],{},"分かりやすいが、現実の乱雑な検索より単純。これだけで長文理解とは言いにくい",[60,558,559],{},"2023 頃",[39,561,562,565,568,571],{},[60,563,564],{},"エージェント型 RAG 評価",[60,566,567],{},"検索を一回で終えず、証拠探索を反復できるか",[60,569,570],{},"RAG の処理構成というより、検索エージェントの設計込みで見る",[60,572,573],{},"2025-01 以降",[13,575,576],{},"このカテゴリでは、コンテキスト長だけを見ない方がよいです。長く入るモデルでも、関係ない情報が増えると必要な情報を使えなくなることがあります。検索器、再ランキング、文書の分割単位、ツール使用回数の上限が結果に混ざっていないかを確認します。",[26,578,579],{"id":579},"記憶系",[13,581,582],{},"記憶系は長文系に似ていますが、焦点が違います。長文系が「与えられた長い入力を処理できるか」を見るのに対し、記憶系は「過去の会話や経験を保存し、必要なときに引き出し、古くなった情報を更新できるか」を見ます。",[33,584,585,597],{},[36,586,587],{},[39,588,589,591,593,595],{},[42,590,44],{},[42,592,47],{},[42,594,50],{},[42,596,53],{},[55,598,599,617,635,649],{},[39,600,601,608,611,614],{},[60,602,603],{},[63,604,607],{"href":605,"rel":606},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.10813",[67],"LongMemEval",[60,609,610],{},"チャットアシスタントの長期記憶",[60,612,613],{},"情報抽出、複数セッション推論、時間推論、知識更新、回答を控える判断を見る",[60,615,616],{},"2024-10",[39,618,619,626,629,632],{},[60,620,621],{},[63,622,625],{"href":623,"rel":624},"https:\u002F\u002Fsnap-research.github.io\u002Flocomo\u002F",[67],"LoCoMo",[60,627,628],{},"長期会話記憶",[60,630,631],{},"長い会話からの質問応答、出来事の要約、対話生成を見る。個人向け AI に近い",[60,633,634],{},"2024-02",[39,636,637,640,643,646],{},[60,638,639],{},"MemoryBench 系",[60,641,642],{},"記憶と継続学習",[60,644,645],{},"保存、検索、更新のどこを測っているかを分けて見る",[60,647,648],{},"2025-10 以降",[39,650,651,654,657,660],{},[60,652,653],{},"STALE \u002F EvoArena \u002F STATE-Bench 系",[60,655,656],{},"古くなった記憶、変化する環境、経験による改善",[60,658,659],{},"静的な記憶ではなく、時間変化や更新失敗を扱えるかを見る",[60,661,662],{},"2026-05 以降",[13,664,665],{},"記憶系では、「覚えているか」だけを見ると読み違えます。古くなった記憶を捨てられるか、矛盾を扱えるか、ユーザーの状態変化を反映できるかで差が出ます。個人向け AI や長期運用するエージェントでは、この差が効いてきます。",[26,667,669],{"id":668},"スキル手続き知識系","スキル・手続き知識系",[13,671,672],{},"スキル系は記憶系と近いですが、見ているものは違います。記憶が「何を知っているか」を扱うなら、スキルは「どう動くか」を扱います。過去の実行履歴や手順を、後続タスクでも使える手続き的知識に変えられるかを見る領域です。",[33,674,675,687],{},[36,676,677],{},[39,678,679,681,683,685],{},[42,680,44],{},[42,682,47],{},[42,684,50],{},[42,686,53],{},[55,688,689,707,725,743],{},[39,690,691,698,701,704],{},[60,692,693],{},[63,694,697],{"href":695,"rel":696},"https:\u002F\u002Fskillsbench.ai\u002F",[67],"SkillsBench",[60,699,700],{},"人手で整えたスキルがエージェントの性能を上げるか",[60,702,703],{},"スキルあり、スキルなし、自動生成スキルを比較する。スキルの質が重要",[60,705,706],{},"2026-02",[39,708,709,716,719,722],{},[60,710,711],{},[63,712,715],{"href":713,"rel":714},"https:\u002F\u002Fskillevolbench.github.io\u002F",[67],"SkillEvolBench",[60,717,718],{},"経験を再利用可能な手続き的スキルに変換できるか",[60,720,721],{},"実行履歴のそのまま再利用と、抽出・整理したスキルの差を見る。きれいに手順化すれば常に勝つとは限らない",[60,723,724],{},"2026-05",[39,726,727,734,737,740],{},[60,728,729],{},[63,730,733],{"href":731,"rel":732},"https:\u002F\u002Fgithub.com\u002Foneal2000\u002FSR-Agents",[67],"SRA-Bench",[60,735,736],{},"大量のスキルから必要なスキルを探して使えるか",[60,738,739],{},"検索できても、読む、採用する、実タスクで使う、までできるとは限らない",[60,741,742],{},"2026-04",[39,744,745,748,751,754],{},[60,746,747],{},"エージェント型スキル評価 \u002F 調査論文系",[60,749,750],{},"スキルの定義、評価方法、安全性",[60,752,753],{},"ベンチマークそのものより、評価観点や分類として読むことが多い",[60,755,756],{},"2026-02 以降",[13,758,759],{},"スキル系は、新モデル発表の定番スコアというより、エージェント、記憶、自己改善型システムの論文でよく出る評価軸です。ここで改善したという主張は、「モデルが賢くなった」ではなく、「経験を手順に変え、探し、呼び、再利用する仕組みが良くなった」と読む方が自然です。",[26,761,763],{"id":762},"実務価値専門領域系","実務価値・専門領域系",[13,765,766],{},"最近は、学術問題やコード問題だけでなく、実際の仕事や専門領域に近いベンチも増えています。これらは現実に近い一方で、採点方法、採点基準、専門家評価、LLM による採点の信頼性を慎重に見る必要があります。",[33,768,769,781],{},[36,770,771],{},[39,772,773,775,777,779],{},[42,774,44],{},[42,776,47],{},[42,778,50],{},[42,780,53],{},[55,782,783,801,819,836],{},[39,784,785,792,795,798],{},[60,786,787],{},[63,788,791],{"href":789,"rel":790},"https:\u002F\u002Fopenai.com\u002Findex\u002Fgdpval\u002F",[67],"GDPval",[60,793,794],{},"経済的価値のある実務タスク",[60,796,797],{},"仕事全体ではなく、切り出された成果物の評価として読む",[60,799,800],{},"2025-10",[39,802,803,810,813,816],{},[60,804,805],{},[63,806,809],{"href":807,"rel":808},"https:\u002F\u002Fopenai.com\u002Findex\u002Fhealthbench\u002F",[67],"HealthBench",[60,811,812],{},"医療シナリオでの応答品質と安全性",[60,814,815],{},"医療は高リスク領域のため、スコアだけで実運用可否を判断しない",[60,817,818],{},"2025-05",[39,820,821,828,831,834],{},[60,822,823],{},[63,824,827],{"href":825,"rel":826},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2311.11944",[67],"FinanceBench",[60,829,830],{},"財務文書に基づく資料参照型の質問応答",[60,832,833],{},"RAG や長文コンテキストの構成で結果が変わる。誤生成に注意する",[60,835,113],{},[39,837,838,845,848,851],{},[60,839,840],{},[63,841,844],{"href":842,"rel":843},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.01848",[67],"PaperBench",[60,846,847],{},"AI 研究論文を再現できるか",[60,849,850],{},"研究支援エージェントの長期作業能力を見るが、採点基準と採点役への依存も大きい",[60,852,467],{},[13,854,855],{},"このカテゴリは一番「実用に近い」ように見えます。ただし、現実の仕事そのものではなく、現実の仕事から切り出した評価タスクです。現場で使えるかを見るには、反復、レビュー、権限、失敗時の戻し方まで含めて別途考える必要があります。",[26,857,858],{"id":858},"古いベンチの使い道",[13,860,861],{},"MMLU は 2020 年、HumanEval は 2021 年、SWE-bench は 2023 年に出たベンチです。新しいモデルやエージェントの論文を読むときに、「それ、もう学習データに入っているのでは」と疑うのは自然です。",[13,863,864],{},"公開ベンチは、論文、GitHub、リーダーボード、ブログ、解説記事、実装例として広く出回ります。大規模モデルは公開 Web やコードを含む巨大なデータで学習されるため、評価データや周辺情報が混ざる可能性があります。これは評価データ汚染の問題です。",[13,866,867],{},"ただし、古いベンチが無意味になるわけではありません。役割が変わります。",[33,869,870,883],{},[36,871,872],{},[39,873,874,877,880],{},[42,875,876],{},"役割",[42,878,879],{},"古いベンチで見られること",[42,881,882],{},"読み方",[55,884,885,896,907,918],{},[39,886,887,890,893],{},[60,888,889],{},"共通言語",[60,891,892],{},"過去モデルとの比較、基礎能力の大きな差",[60,894,895],{},"研究やモデル発表の座標軸として使う",[39,897,898,901,904],{},[60,899,900],{},"回帰テスト",[60,902,903],{},"定番タスクで大きく崩れていないか",[60,905,906],{},"低い場合は基礎的な知識・推論や学習の偏りを疑う",[39,908,909,912,915],{},[60,910,911],{},"軽量モデル比較",[60,913,914],{},"最先端モデルでは飽和しても、小型モデルでは差が出る",[60,916,917],{},"小型・特化モデルではまだ有効なことがある",[39,919,920,923,926],{},[60,921,922],{},"評価カテゴリの目印",[60,924,925],{},"知識、数学、短いコード生成などのカテゴリ",[60,927,928],{},"「何の話か」を切る手がかりとして使う",[13,930,931],{},"弱くなるのは、古いベンチだけで最先端モデルの優劣を決める読み方です。古いベンチは「高いから強い」ではなく、「低いなら注意、高いだけでは足りない」と読む方が安全です。",[26,933,934],{"id":934},"よくある疑問",[936,937,939],"h3",{"id":938},"mmlu-が伸びたらそのモデルは実務でも強い","MMLU が伸びたら、そのモデルは実務でも強い？",[13,941,942],{},"知識問題や推論問題に強くなった可能性はありますが、それだけでは実務に強いとは言い切れません。リポジトリ修正なら SWE-bench、ターミナル作業なら Terminal-Bench、長期の個人化なら LongMemEval や LoCoMo を合わせて見ます。",[936,944,946],{"id":945},"swe-bench-と-terminal-bench-は何が違う","SWE-bench と Terminal-Bench は何が違う？",[13,948,949],{},"SWE-bench は GitHub の課題を解決するリポジトリ修正を主に見ます。Terminal-Bench は、ターミナル環境で調査、設定、デバッグ、データ処理などを進める評価です。どちらもエージェントの実行基盤の影響が大きいので、モデル単体の順位としては読みすぎない方がよいです。",[936,951,953],{"id":952},"長文系と記憶系は何が違う","長文系と記憶系は何が違う？",[13,955,956],{},"長文系は「与えられた長い入力から必要な情報を使えるか」を見ます。記憶系は「過去の会話や経験を保存し、必要なときに引き出し、古くなった情報を更新・破棄できるか」を見ます。個人向け AI への関心なら、単なる長文処理より記憶系の方が近いです。",[936,958,960],{"id":959},"スキル系は記憶系の一部","スキル系は記憶系の一部？",[13,962,963],{},"近いですが、見ているものが違います。記憶は主に「何を知っているか」、スキルは「どう動くか」です。SkillEvolBench や SRA-Bench は、経験を手順に変える、必要な手順を探す、実タスクで呼び出す、といった手続き的知識の扱いを見ます。",[936,965,967],{"id":966},"新しいモデル発表の評価表ではまずどこを見る","新しいモデル発表の評価表では、まずどこを見る？",[13,969,970],{},"まず、上がっているベンチが何を評価しているかを見ます。次に、比較条件が同じかを見ます。エージェント系ならツール、再試行、実行環境、コンテキスト長、Web アクセスの有無まで確認します。最後に、古いベンチでの高スコアなら、飽和やデータ汚染の可能性も考えます。",[936,972,974],{"id":973},"公式リンクが論文ではなくリーダーボードやブログの場合はどう読む","公式リンクが論文ではなくリーダーボードやブログの場合はどう読む？",[13,976,977],{},"ベンチマークが論文として固定されたものではなく、継続更新される評価環境の場合があります。その場合は、問題セット、採点ルール、実行条件、いつのリーダーボードかを合わせて見ます。動的ベンチは新しさが強みである一方、比較の再現性は論文ベンチより揺れやすいです。",[26,979,980],{"id":980},"まとめ",[13,982,983],{},"ベンチマークは、モデルの強さ表ではなく、何ができるようになったのかを読むための地図です。MMLU や GPQA が上がったなら知識問題や専門的な推論、HumanEval や LiveCodeBench なら短いコード生成、SWE-bench なら既存リポジトリの修正、Terminal-Bench ならターミナル環境での作業遂行を見ます。",[13,985,986],{},"LongMemEval や LoCoMo なら長期記憶の検索や更新、SkillEvolBench や SRA-Bench なら経験を手続きに変え、必要なスキルを探して使う仕組みが論点です。",[13,988,989],{},"論文で「ベンチマークが改善した」と出てきたら、まず「何ができるようになったと言いたいのか」を見る。そこから読むと、評価表はただの数字の羅列ではなく、その研究がどの問題を解こうとしているのかを示す地図になります。",{"title":991,"searchDepth":992,"depth":992,"links":993},"",2,[994,995,996,997,998,999,1000,1001,1002,1003,1012],{"id":28,"depth":992,"text":28},{"id":180,"depth":992,"text":180},{"id":276,"depth":992,"text":276},{"id":356,"depth":992,"text":357},{"id":473,"depth":992,"text":474},{"id":579,"depth":992,"text":579},{"id":668,"depth":992,"text":669},{"id":762,"depth":992,"text":763},{"id":858,"depth":992,"text":858},{"id":934,"depth":992,"text":934,"children":1004},[1005,1007,1008,1009,1010,1011],{"id":938,"depth":1006,"text":939},3,{"id":945,"depth":1006,"text":946},{"id":952,"depth":1006,"text":953},{"id":959,"depth":1006,"text":960},{"id":966,"depth":1006,"text":967},{"id":973,"depth":1006,"text":974},{"id":980,"depth":992,"text":980},"2026-06-26","MMLU、GPQA、SWE-bench、Terminal-Bench、LongMemEval、SkillEvolBenchなど、LLM・AIエージェント論文でよく見る評価ベンチマークを目的別に整理する。",false,"md",{},true,"\u002Fcontents\u002Fllm-benchmark-map",{"title":5,"description":1014},"contents\u002Fllm-benchmark-map",[1023,1024,44],"AI","LLM",null,"fbGGpc7boKKsvs2b5mdmyn4Nmhcr4M6AB3KjPS4Rsrg",[1028,1032],{"title":1029,"path":1030,"stem":1031,"children":-1},"Nuxt Content v2でリスト、タグページやページングを実現する方法","\u002Fcontents\u002Flist-nuxt","contents\u002Flist-nuxt",{"title":1033,"path":1034,"stem":1035,"children":-1},"Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation","\u002Fcontents\u002Fmanaging-procedural-memory","contents\u002Fmanaging-procedural-memory",1782606293402]