---
title: "The Verification Horizon: No Silver Bullet for Coding Agent Rewards"
created: 2026-07-02
updated: 2026-07-02
type: paper
tags: [verification, reward-design, coding-agent, qwen, rl, evaluation]
sources:
  - https://arxiv.org/abs/2606.26300
authors:
  - Binghai Wang
  - Chenlong Zhang
  - Dayiheng Liu
  - Jiajun Zhang
  - Jiawei Chen
  - Mingze Li
  - Mouxiang Chen
  - Rongyao Fang
  - Siyuan Zhang
  - Xuwu Wang
  - Yuheng Jing
  - Zeyao Ma
  - Zeyu Cui
venue: arXiv
date: 2026-06-24
arxiv: "2606.26300"
---

# The Verification Horizon: No Silver Bullet for Coding Agent Rewards

**Qwen Team (Alibaba)** · arXiv 2606.26300 · June 2026

## 核心论点

对今天的 coding agent 而言，验证比生成更难。所有验证器都是用户意图的代理（proxy），永远不是意图本身。验证面临 **[[verification-trilemma|验证三难]]**：scalability（可扩展性）、faithfulness（忠实性）、robustness（鲁棒性）三者难以兼得。论文的核心主张：**不存在固定奖励函数能在 policy 增长下持续有效——验证必须与生成器 [[verifier-generator-coevolution|协同进化]]**。

## 理论框架

论文从 [[goodharts-law|Goodhart 定律]] 和 [[rice-theorem|Rice 定理]] 两个基础出发，论证了完美验证器的不可能性。意图天然欠定（[[intent-underspecification|intent underspecification]]），代理与意图之间的差距在优化压力下不是缩小而是扩大——这是 [[reward-hacking|奖励破解]] 的根源。

验证信号质量沿三个维度刻画：
- **Scalability**：能否以训练所需规模廉价生产
- **Faithfulness**：反映多少真实用户意图 vs 窄化代理
- **Robustness**：面对多样/对抗输入和持续优化压力时判断是否稳定

三者交集（廉价 + 深度 + 抗博弈）正是目前缺失的核心。

## 四种验证器架构

### 1. Test Verifier（SWE 类任务）
基于可执行测试的奖励信号。通过 [[agentic-quality-judge|Agent 质量判断器]] 过滤低质量任务（instruction 不清晰 / test-instruction 不对齐），通过 [[behavior-monitoring-rl|行为监控]] 检测并惩罚 shortcut 行为（solution artifact retrieval、test tampering 等）。

**结果**：三个 SWE-Bench 变体上 hacked resolved rate 从 28.57% → 0.56%，clean resolved rate 从 40.22% → 60.53%。

### 2. Interactive Judge（前端任务）
前端任务需要评估视觉和交互质量。采用 [[rubric-based-evaluation|量规评估]] 将评分分解为多维度（Functional/Content/Visual/Layout/UX/Technical），进一步扩展为 [[interactive-judge|交互式判断器]]——通过 Playwright 在真实浏览器中执行用户交互并评估运行时行为。

**关键优势**：抵抗静态判断器的长度利用——模型无法通过生成冗余代码骗分，因为奖励来自运行时行为而非源码长度。

### 3. User Feedback Verifier（真实世界 Agent 任务）
用户是最忠实的验证者。从用户交互数据中提取 [[human-implicit-reward-signals|人类隐式奖励信号]]（HIRS），通过 LLM-as-Judge 标注 polarity/confidence/fairness。提出 [[span-kto|Span-KTO]]——基于 span 级别的 KTO 偏好学习，对正负反馈施加差异化损失。

**结果**：五个内部 coding-agent benchmark 上均提升，其中 Aone-bench 提升 +13.3pp。不仅"解决更多问题"，更关键的是"失败时表现更合理"。

### 4. Automated Agent Verifier（长周期任务）
对于从零构建完整仓库的长周期任务，部署 [[agent-evaluator|自主评估器]] 动态评估生成代码。通过多轮评估提示迭代（v1→v4）解决评估器常见失败模式：懒惰评估、缺少端到端验证、角色混淆、上下文过载。

**关键发现**：不同训练目标（RFT vs RL vs 小候选池 RFT）对应不同 [[evaluator-metrics|评估器指标]] 偏好——排名能力不代表过滤质量。评估器必须与生成器协同进化。

## 未来方向

- 方案空间的质量分层（根治修复 vs 表面变通）
- 捕获人类主观感知（动画流畅度、视觉层次）
- 从离线反馈挖掘到在线学习
- 评估器-生成器协同进化训练循环
- 长周期和多智能体场景中的 credit assignment

## 相关概念

[[verification-horizon|验证边界]] · [[verification-trilemma|验证三难]] · [[verifier-generator-coevolution|验证器-生成器协同进化]] · [[reward-hacking|奖励破解]] · [[intent-underspecification|意图欠定性]] · [[test-driven-rewards|测试驱动奖励]] · [[agentic-quality-judge|Agent质量判断器]] · [[behavior-monitoring-rl|行为监控RL]] · [[interactive-judge|交互式判断器]] · [[rubric-based-evaluation|量规评估]] · [[human-implicit-reward-signals|人类隐式奖励信号]] · [[span-kto|Span-KTO]] · [[agent-evaluator|Agent评估器]] · [[evaluator-metrics|评估器质量指标]]