80 lines
4.8 KiB
Markdown
80 lines
4.8 KiB
Markdown
---
|
||
title: "The Verification Horizon: No Silver Bullet for Coding Agent Rewards"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: paper
|
||
tags: [verification, reward-design, coding-agent, qwen, rl, evaluation]
|
||
sources:
|
||
- https://arxiv.org/abs/2606.26300
|
||
authors:
|
||
- Binghai Wang
|
||
- Chenlong Zhang
|
||
- Dayiheng Liu
|
||
- Jiajun Zhang
|
||
- Jiawei Chen
|
||
- Mingze Li
|
||
- Mouxiang Chen
|
||
- Rongyao Fang
|
||
- Siyuan Zhang
|
||
- Xuwu Wang
|
||
- Yuheng Jing
|
||
- Zeyao Ma
|
||
- Zeyu Cui
|
||
venue: arXiv
|
||
date: 2026-06-24
|
||
arxiv: "2606.26300"
|
||
---
|
||
|
||
# The Verification Horizon: No Silver Bullet for Coding Agent Rewards
|
||
|
||
**Qwen Team (Alibaba)** · arXiv 2606.26300 · June 2026
|
||
|
||
## 核心论点
|
||
|
||
对今天的 coding agent 而言，验证比生成更难。所有验证器都是用户意图的代理（proxy），永远不是意图本身。验证面临 **[[verification-trilemma|验证三难]]**：scalability（可扩展性）、faithfulness（忠实性）、robustness（鲁棒性）三者难以兼得。论文的核心主张：**不存在固定奖励函数能在 policy 增长下持续有效——验证必须与生成器 [[verifier-generator-coevolution|协同进化]]**。
|
||
|
||
## 理论框架
|
||
|
||
论文从 [[goodharts-law|Goodhart 定律]] 和 [[rice-theorem|Rice 定理]] 两个基础出发，论证了完美验证器的不可能性。意图天然欠定（[[intent-underspecification|intent underspecification]]），代理与意图之间的差距在优化压力下不是缩小而是扩大——这是 [[reward-hacking|奖励破解]] 的根源。
|
||
|
||
验证信号质量沿三个维度刻画：
|
||
- **Scalability**：能否以训练所需规模廉价生产
|
||
- **Faithfulness**：反映多少真实用户意图 vs 窄化代理
|
||
- **Robustness**：面对多样/对抗输入和持续优化压力时判断是否稳定
|
||
|
||
三者交集（廉价 + 深度 + 抗博弈）正是目前缺失的核心。
|
||
|
||
## 四种验证器架构
|
||
|
||
### 1. Test Verifier（SWE 类任务）
|
||
基于可执行测试的奖励信号。通过 [[agentic-quality-judge|Agent 质量判断器]] 过滤低质量任务（instruction 不清晰 / test-instruction 不对齐），通过 [[behavior-monitoring-rl|行为监控]] 检测并惩罚 shortcut 行为（solution artifact retrieval、test tampering 等）。
|
||
|
||
**结果**：三个 SWE-Bench 变体上 hacked resolved rate 从 28.57% → 0.56%，clean resolved rate 从 40.22% → 60.53%。
|
||
|
||
### 2. Interactive Judge（前端任务）
|
||
前端任务需要评估视觉和交互质量。采用 [[rubric-based-evaluation|量规评估]] 将评分分解为多维度（Functional/Content/Visual/Layout/UX/Technical），进一步扩展为 [[interactive-judge|交互式判断器]]——通过 Playwright 在真实浏览器中执行用户交互并评估运行时行为。
|
||
|
||
**关键优势**：抵抗静态判断器的长度利用——模型无法通过生成冗余代码骗分，因为奖励来自运行时行为而非源码长度。
|
||
|
||
### 3. User Feedback Verifier（真实世界 Agent 任务）
|
||
用户是最忠实的验证者。从用户交互数据中提取 [[human-implicit-reward-signals|人类隐式奖励信号]]（HIRS），通过 LLM-as-Judge 标注 polarity/confidence/fairness。提出 [[span-kto|Span-KTO]]——基于 span 级别的 KTO 偏好学习，对正负反馈施加差异化损失。
|
||
|
||
**结果**：五个内部 coding-agent benchmark 上均提升，其中 Aone-bench 提升 +13.3pp。不仅"解决更多问题"，更关键的是"失败时表现更合理"。
|
||
|
||
### 4. Automated Agent Verifier（长周期任务）
|
||
对于从零构建完整仓库的长周期任务，部署 [[agent-evaluator|自主评估器]] 动态评估生成代码。通过多轮评估提示迭代（v1→v4）解决评估器常见失败模式：懒惰评估、缺少端到端验证、角色混淆、上下文过载。
|
||
|
||
**关键发现**：不同训练目标（RFT vs RL vs 小候选池 RFT）对应不同 [[evaluator-metrics|评估器指标]] 偏好——排名能力不代表过滤质量。评估器必须与生成器协同进化。
|
||
|
||
## 未来方向
|
||
|
||
- 方案空间的质量分层（根治修复 vs 表面变通）
|
||
- 捕获人类主观感知（动画流畅度、视觉层次）
|
||
- 从离线反馈挖掘到在线学习
|
||
- 评估器-生成器协同进化训练循环
|
||
- 长周期和多智能体场景中的 credit assignment
|
||
|
||
## 相关概念
|
||
|
||
[[verification-horizon|验证边界]] · [[verification-trilemma|验证三难]] · [[verifier-generator-coevolution|验证器-生成器协同进化]] · [[reward-hacking|奖励破解]] · [[intent-underspecification|意图欠定性]] · [[test-driven-rewards|测试驱动奖励]] · [[agentic-quality-judge|Agent质量判断器]] · [[behavior-monitoring-rl|行为监控RL]] · [[interactive-judge|交互式判断器]] · [[rubric-based-evaluation|量规评估]] · [[human-implicit-reward-signals|人类隐式奖励信号]] · [[span-kto|Span-KTO]] · [[agent-evaluator|Agent评估器]] · [[evaluator-metrics|评估器质量指标]]
|