41 lines
1.7 KiB
Markdown
41 lines
1.7 KiB
Markdown
---
|
||
title: "Agent 评估器（Agent Evaluator）"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [evaluation, long-horizon, code-generation, agent, judge]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# Agent 评估器（Agent Evaluator）
|
||
|
||
用于**长周期代码生成任务**的自主评估器，动态评估从零构建的完整代码仓库，提供可扩展的奖励信号。
|
||
|
||
## 评估流程
|
||
|
||
给定 task specification `T` 和生成的代码仓库 `G(T)`：
|
||
1. **分解**：将 `T` 分解为可验证的功能需求 checklist `C = {c_1, ..., c_N}`
|
||
2. **逐项检查**：评估每项是否满足
|
||
3. **输出双分数**：checklist pass rate `S_pass` + 整体评估分数 `S_eval`
|
||
|
||
## 提示迭代中发现的失败模式
|
||
|
||
| 版本 | 发现的问题 | 修复 |
|
||
|------|-----------|------|
|
||
| Baseline→v1 | 懒惰评估：仅静态代码阅读，不执行测试 | 要求执行测试 |
|
||
| v1→v2 | 缺少端到端验证：忽略 import errors、依赖冲突 | 添加全局编译检查 |
|
||
| v2→v3 | 角色混淆：修改生成代码修复 bug、为生成器辩护 | 禁止修改代码、禁止辩护 |
|
||
| v3→v4 | 上下文过载：exhaustively read 大段代码 | 限制只读 entry-point 定义 |
|
||
| v4→v5 | 过度规范化：过于详细的规则列表降低判断质量 | 适度细化原则 |
|
||
|
||
## 关键发现
|
||
|
||
Rubric 粒度存在最优区间——**适度规则帮助弱评估器，过度规定压垮模型**。v4 取得最佳 BoN-Acc（67.4%）和 Kendall τ（0.473）。
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[evaluator-metrics|评估器质量指标]]
|
||
- [[verifier-generator-coevolution|验证器-生成器协同进化]]
|