20260720

concepts/agentic-evaluation.md

@@ -0,0 +1,35 @@
+---
+title: "Agent 评估 (Agentic Evaluation)"
+created: 2026-07-13
+updated: 2026-07-13
+type: concept
+tags: [agent, evaluation, benchmarks]
+sources:
+  - arxiv:2606.20683
+---
+
+# Agent 评估
+
+## 核心观察
+
+传统 benchmark（MMLU、GPQA、HumanEval）趋于饱和，但 Agent 任务 benchmark（SWE-bench、WebArena、OSWorld、Terminal-Bench、TheAgentCompany）仍有巨大空间。**这一分歧揭示了模型规模扩展无法独立填补 Agent 任务缺口。**
+
+## 关键 Benchmark
+
+| Benchmark | 领域 | 评估重点 |
+|-----------|------|----------|
+| SWE-bench | 软件工程 | 端到端 issue 修复 |
+| WebArena | Web 交互 | 多步 web 任务 |
+| OSWorld | 桌面操作 | 操作系统级任务 |
+| Terminal-Bench | 命令行 | CLI 交互能力 |
+| MCPWorld | 工具协议 | MCP 协议互操作 |
+
+## 评估方法论转变
+
+从"答案是否正确"→"组装的上下文是否能支撑多步任务完成"→"执行轨迹在长视界上是否稳定、可验证、可恢复"。
+
+这是从**静态 QA 评估到交互式多步任务完成评估**的根本转变。
+
+## 参考
+- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
+- [[harness-engineering|脚手架工程]]