The Verification Horizon: No Silver Bullet for Coding Agent Rewards

Qwen Team (Alibaba) · arXiv 2606.26300 · June 2026

核心论点

对今天的 coding agent 而言，验证比生成更难。所有验证器都是用户意图的代理（proxy），永远不是意图本身。验证面临 verification-trilemma：scalability（可扩展性）、faithfulness（忠实性）、robustness（鲁棒性）三者难以兼得。论文的核心主张：不存在固定奖励函数能在 policy 增长下持续有效——验证必须与生成器 verifier-generator-coevolution。

理论框架

论文从 goodharts-law 和 rice-theorem 两个基础出发，论证了完美验证器的不可能性。意图天然欠定（intent-underspecification），代理与意图之间的差距在优化压力下不是缩小而是扩大——这是 reward-hacking 的根源。

验证信号质量沿三个维度刻画：

Scalability：能否以训练所需规模廉价生产
Faithfulness：反映多少真实用户意图 vs 窄化代理
Robustness：面对多样/对抗输入和持续优化压力时判断是否稳定

三者交集（廉价 + 深度 + 抗博弈）正是目前缺失的核心。

四种验证器架构

1. Test Verifier（SWE 类任务）

基于可执行测试的奖励信号。通过 agentic-quality-judge 过滤低质量任务（instruction 不清晰 / test-instruction 不对齐），通过 behavior-monitoring-rl 检测并惩罚 shortcut 行为（solution artifact retrieval、test tampering 等）。

结果：三个 SWE-Bench 变体上 hacked resolved rate 从 28.57% → 0.56%，clean resolved rate 从 40.22% → 60.53%。

2. Interactive Judge（前端任务）

前端任务需要评估视觉和交互质量。采用 rubric-based-evaluation 将评分分解为多维度（Functional/Content/Visual/Layout/UX/Technical），进一步扩展为 interactive-judge——通过 Playwright 在真实浏览器中执行用户交互并评估运行时行为。

关键优势：抵抗静态判断器的长度利用——模型无法通过生成冗余代码骗分，因为奖励来自运行时行为而非源码长度。

3. User Feedback Verifier（真实世界 Agent 任务）

用户是最忠实的验证者。从用户交互数据中提取 human-implicit-reward-signals（HIRS），通过 LLM-as-Judge 标注 polarity/confidence/fairness。提出 span-kto——基于 span 级别的 KTO 偏好学习，对正负反馈施加差异化损失。

结果：五个内部 coding-agent benchmark 上均提升，其中 Aone-bench 提升 +13.3pp。不仅"解决更多问题"，更关键的是"失败时表现更合理"。

4. Automated Agent Verifier（长周期任务）

对于从零构建完整仓库的长周期任务，部署 agent-evaluator 动态评估生成代码。通过多轮评估提示迭代（v1→v4）解决评估器常见失败模式：懒惰评估、缺少端到端验证、角色混淆、上下文过载。

关键发现：不同训练目标（RFT vs RL vs 小候选池 RFT）对应不同 evaluator-metrics 偏好——排名能力不代表过滤质量。评估器必须与生成器协同进化。

未来方向

方案空间的质量分层（根治修复 vs 表面变通）
捕获人类主观感知（动画流畅度、视觉层次）
从离线反馈挖掘到在线学习
评估器-生成器协同进化训练循环
长周期和多智能体场景中的 credit assignment

4.8 KiB Raw Permalink Blame History Unescape Escape