1.7 KiB
1.7 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Agent 评估器（Agent Evaluator） | 2026-07-02 | 2026-07-02 | concept |
|
|
Agent 评估器（Agent Evaluator）
用于长周期代码生成任务的自主评估器，动态评估从零构建的完整代码仓库，提供可扩展的奖励信号。
评估流程
给定 task specification T 和生成的代码仓库 G(T)：
- 分解：将
T分解为可验证的功能需求 checklistC = {c_1, ..., c_N} - 逐项检查：评估每项是否满足
- 输出双分数：checklist pass rate
S_pass+ 整体评估分数S_eval
提示迭代中发现的失败模式
| 版本 | 发现的问题 | 修复 |
|---|---|---|
| Baseline→v1 | 懒惰评估：仅静态代码阅读，不执行测试 | 要求执行测试 |
| v1→v2 | 缺少端到端验证：忽略 import errors、依赖冲突 | 添加全局编译检查 |
| v2→v3 | 角色混淆：修改生成代码修复 bug、为生成器辩护 | 禁止修改代码、禁止辩护 |
| v3→v4 | 上下文过载：exhaustively read 大段代码 | 限制只读 entry-point 定义 |
| v4→v5 | 过度规范化：过于详细的规则列表降低判断质量 | 适度细化原则 |
关键发现
Rubric 粒度存在最优区间——适度规则帮助弱评估器，过度规定压垮模型。v4 取得最佳 BoN-Acc（67.4%）和 Kendall τ（0.473）。