52 lines
1.4 KiB
Markdown
52 lines
1.4 KiB
Markdown
---
|
||
title: "Agent Eval Grader"
|
||
created: 2026-05-26
|
||
type: concept
|
||
tags: ["agent-evaluation", "scoring", "grader"]
|
||
sources: ["mini-agent-harness"]
|
||
---
|
||
|
||
# Agent Eval Grader
|
||
|
||
> Agent 评测中的评分模块——基于规则或测试脚本判断任务执行结果。
|
||
|
||
## 定义
|
||
|
||
Grader 是 [[agent-harness-mini|mini harness]] 的最终判断模块。它接收 [[agent-eval-trace|trace]] 和最终答案，输出结构化的评分结果（success/fail + reason）。
|
||
|
||
## 评分策略演进
|
||
|
||
### Level 1：规则匹配（本文推荐）
|
||
```json
|
||
{
|
||
"must_read": ["README.md"],
|
||
"answer_should_include": "不能确认支持插件系统",
|
||
"answer_should_not_include": "支持插件系统"
|
||
}
|
||
```
|
||
|
||
### Level 2：测试脚本
|
||
```bash
|
||
# 运行测试验证 Agent 的代码修改是否通过
|
||
pytest tests/
|
||
```
|
||
|
||
### Level 3：LLM-as-Judge
|
||
使用 LLM 评估复杂输出（需注意评估者偏差）
|
||
|
||
### Level 4：多维度评分
|
||
任务完成度 + 工具使用效率 + 步骤冗余度 + 幻觉检测
|
||
|
||
## 设计原则
|
||
|
||
- **可检查性**：评分规则必须明确可执行
|
||
- **可解释性**：失败必须给出 reason
|
||
- **渐进复杂度**：从规则开始，按需升级
|
||
|
||
## 相关页面
|
||
|
||
- [[agent-eval-trace]] — Grader 的输入数据源
|
||
- [[agent-eval-case-design]] — 包含 grader 配置的评测用例
|
||
- [[agent-harness-mini]] — 包含 grader 模块的完整 harness
|
||
- [[agent-evaluation-paradigm-shift]] — 评测范式的整体转变
|