---
title: "Agent 评估器（Agent Evaluator）"
created: 2026-07-02
updated: 2026-07-02
type: concept
tags: [evaluation, long-horizon, code-generation, agent, judge]
sources:
  - "[[verification-horizon-no-silver-bullet]]"
---

# Agent 评估器（Agent Evaluator）

用于**长周期代码生成任务**的自主评估器，动态评估从零构建的完整代码仓库，提供可扩展的奖励信号。

## 评估流程

给定 task specification `T` 和生成的代码仓库 `G(T)`：
1. **分解**：将 `T` 分解为可验证的功能需求 checklist `C = {c_1, ..., c_N}`
2. **逐项检查**：评估每项是否满足
3. **输出双分数**：checklist pass rate `S_pass` + 整体评估分数 `S_eval`

## 提示迭代中发现的失败模式

| 版本 | 发现的问题 | 修复 |
|------|-----------|------|
| Baseline→v1 | 懒惰评估：仅静态代码阅读，不执行测试 | 要求执行测试 |
| v1→v2 | 缺少端到端验证：忽略 import errors、依赖冲突 | 添加全局编译检查 |
| v2→v3 | 角色混淆：修改生成代码修复 bug、为生成器辩护 | 禁止修改代码、禁止辩护 |
| v3→v4 | 上下文过载：exhaustively read 大段代码 | 限制只读 entry-point 定义 |
| v4→v5 | 过度规范化：过于详细的规则列表降低判断质量 | 适度细化原则 |

## 关键发现

Rubric 粒度存在最优区间——**适度规则帮助弱评估器，过度规定压垮模型**。v4 取得最佳 BoN-Acc（67.4%）和 Kendall τ（0.473）。

## 参考

- [[verification-horizon-no-silver-bullet|论文原文]]
- [[evaluator-metrics|评估器质量指标]]
- [[verifier-generator-coevolution|验证器-生成器协同进化]]