42 lines
1.4 KiB
Markdown
42 lines
1.4 KiB
Markdown
---
|
||
title: "Trace-Native Evaluation（踪迹原生评估）"
|
||
created: 2026-05-23
|
||
updated: 2026-05-23
|
||
type: concept
|
||
tags: [agent, evaluation, tracing, diagnosis, regression]
|
||
sources: [raw/papers/agent-harness-engineering-survey-2026.md]
|
||
confidence: medium
|
||
---
|
||
|
||
# Trace-Native Evaluation
|
||
|
||
> 将 Agent 踪迹（trace）作为评估的主要对象，而非仅看最终通过/失败分数。从踪迹中计算结果分数、轨迹质量、失败归因和回归测试。
|
||
|
||
## 为什么需要 Trace-Native？
|
||
|
||
当前评估以**最终分数为中心**（final-score-centric）：一次运行通过或失败，分数归因于模型质量。但实际上失败可能来自：
|
||
|
||
- 模型推理错误
|
||
- 误导性工具 Schema
|
||
- 沙箱配置错误
|
||
- 陈旧上下文
|
||
- 不稳定测试
|
||
- Benchmark 歧义
|
||
- Judge 不稳定
|
||
- 编排循环 bug
|
||
|
||
## 闭合观测-评估回路
|
||
|
||
- 将异常生产踪迹转化为回归案例
|
||
- 直接从 spans 计算轨迹质量指标
|
||
- 将诊断信号反馈到 prompt、tool、context 和编排变更
|
||
|
||
Reflexion（Shinn et al., 2023）证明 Agent 可以在短视距设置中从自己的踪迹学习；将此扩展到长时间运行的多会话 Harness 仍待解决。
|
||
|
||
## 相关概念
|
||
|
||
- [[verification-evaluation]] — V 层评估
|
||
- [[observability]] — O 层产生踪迹
|
||
- [[harness-coupling-problem]] — 失败归因需要跨层分析
|
||
- [[agent-harness-engineering-survey]]
|