37 lines
1.6 KiB
Markdown
37 lines
1.6 KiB
Markdown
---
|
||
title: "Verification & Evaluation（验证与评估）"
|
||
created: 2026-05-23
|
||
updated: 2026-05-23
|
||
type: concept
|
||
tags: [agent, evaluation, verification, benchmark, regression]
|
||
sources: [raw/papers/agent-harness-engineering-survey-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# Verification & Evaluation（V 层）
|
||
|
||
> ETCLOVG 的 V 层：将任务和追踪转化为评估、失败归因和回归反馈。应作为**测量工具**而非排行榜生成器来研究。
|
||
|
||
## 三个子层
|
||
|
||
- **任务和 Benchmark 基准化**：SWE-bench, WebArena 等
|
||
- **预执行就绪验证（Readiness Validation）**：跨层的工具就绪检查、沙箱状态校验
|
||
- **受控执行与追踪捕获**：可复现的运行环境
|
||
- **多级判断与失败归因**：不止 pass/fail，区分模型推理错误 vs harness 配置错误
|
||
- **持续回归与部署反馈**：将评估嵌入 CI/CD
|
||
|
||
## 核心批评：final-score-centric 的问题
|
||
|
||
当前评估过于以最终分数为中心：一次运行通过或失败，最终数字被视为模型质量的证据。但实际上：
|
||
- 失败可能源自模型推理、误导性工具 Schema、沙箱配置错误、陈旧上下文、不稳定测试、benchmark 歧义、judge 不稳定或编排循环
|
||
- Anthropic 分析表明基础设施设置可测量地改变 benchmark 分数
|
||
- 单次运行通过率可能隐藏显著方差（Bjarnason et al., 2026）
|
||
|
||
## 未来方向：[[trace-native-evaluation]]
|
||
|
||
## 相关概念
|
||
|
||
- [[observability]] — O 层与 V 层需闭合回路
|
||
- [[harness-coupling-problem]] — 评估受执行环境影响
|
||
- [[agent-harness-engineering-survey]]
|