20260706:新增一些文章

concepts/agent-evaluator.md

@@ -0,0 +1,40 @@
+---
+title: "Agent 评估器（Agent Evaluator）"
+created: 2026-07-02
+updated: 2026-07-02
+type: concept
+tags: [evaluation, long-horizon, code-generation, agent, judge]
+sources:
+  - "[[verification-horizon-no-silver-bullet]]"
+---
+
+# Agent 评估器（Agent Evaluator）
+
+用于**长周期代码生成任务**的自主评估器，动态评估从零构建的完整代码仓库，提供可扩展的奖励信号。
+
+## 评估流程
+
+给定 task specification `T` 和生成的代码仓库 `G(T)`：
+1. **分解**：将 `T` 分解为可验证的功能需求 checklist `C = {c_1, ..., c_N}`
+2. **逐项检查**：评估每项是否满足
+3. **输出双分数**：checklist pass rate `S_pass` + 整体评估分数 `S_eval`
+
+## 提示迭代中发现的失败模式
+
+| 版本 | 发现的问题 | 修复 |
+|------|-----------|------|
+| Baseline→v1 | 懒惰评估：仅静态代码阅读，不执行测试 | 要求执行测试 |
+| v1→v2 | 缺少端到端验证：忽略 import errors、依赖冲突 | 添加全局编译检查 |
+| v2→v3 | 角色混淆：修改生成代码修复 bug、为生成器辩护 | 禁止修改代码、禁止辩护 |
+| v3→v4 | 上下文过载：exhaustively read 大段代码 | 限制只读 entry-point 定义 |
+| v4→v5 | 过度规范化：过于详细的规则列表降低判断质量 | 适度细化原则 |
+
+## 关键发现
+
+Rubric 粒度存在最优区间——**适度规则帮助弱评估器，过度规定压垮模型**。v4 取得最佳 BoN-Acc（67.4%）和 Kendall τ（0.473）。
+
+## 参考
+
+- [[verification-horizon-no-silver-bullet|论文原文]]
+- [[evaluator-metrics|评估器质量指标]]
+- [[verifier-generator-coevolution|验证器-生成器协同进化]]