36 lines
1.2 KiB
Markdown
36 lines
1.2 KiB
Markdown
---
|
||
title: "Agent 评估 (Agentic Evaluation)"
|
||
created: 2026-07-13
|
||
updated: 2026-07-13
|
||
type: concept
|
||
tags: [agent, evaluation, benchmarks]
|
||
sources:
|
||
- arxiv:2606.20683
|
||
---
|
||
|
||
# Agent 评估
|
||
|
||
## 核心观察
|
||
|
||
传统 benchmark（MMLU、GPQA、HumanEval）趋于饱和，但 Agent 任务 benchmark（SWE-bench、WebArena、OSWorld、Terminal-Bench、TheAgentCompany）仍有巨大空间。**这一分歧揭示了模型规模扩展无法独立填补 Agent 任务缺口。**
|
||
|
||
## 关键 Benchmark
|
||
|
||
| Benchmark | 领域 | 评估重点 |
|
||
|-----------|------|----------|
|
||
| SWE-bench | 软件工程 | 端到端 issue 修复 |
|
||
| WebArena | Web 交互 | 多步 web 任务 |
|
||
| OSWorld | 桌面操作 | 操作系统级任务 |
|
||
| Terminal-Bench | 命令行 | CLI 交互能力 |
|
||
| MCPWorld | 工具协议 | MCP 协议互操作 |
|
||
|
||
## 评估方法论转变
|
||
|
||
从"答案是否正确"→"组装的上下文是否能支撑多步任务完成"→"执行轨迹在长视界上是否稳定、可验证、可恢复"。
|
||
|
||
这是从**静态 QA 评估到交互式多步任务完成评估**的根本转变。
|
||
|
||
## 参考
|
||
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
|
||
- [[harness-engineering|脚手架工程]]
|