20260706:新增一些文章

papers/verification-horizon-no-silver-bullet.md

@@ -0,0 +1,79 @@
+---
+title: "The Verification Horizon: No Silver Bullet for Coding Agent Rewards"
+created: 2026-07-02
+updated: 2026-07-02
+type: paper
+tags: [verification, reward-design, coding-agent, qwen, rl, evaluation]
+sources:
+  - https://arxiv.org/abs/2606.26300
+authors:
+  - Binghai Wang
+  - Chenlong Zhang
+  - Dayiheng Liu
+  - Jiajun Zhang
+  - Jiawei Chen
+  - Mingze Li
+  - Mouxiang Chen
+  - Rongyao Fang
+  - Siyuan Zhang
+  - Xuwu Wang
+  - Yuheng Jing
+  - Zeyao Ma
+  - Zeyu Cui
+venue: arXiv
+date: 2026-06-24
+arxiv: "2606.26300"
+---
+
+# The Verification Horizon: No Silver Bullet for Coding Agent Rewards
+
+**Qwen Team (Alibaba)** · arXiv 2606.26300 · June 2026
+
+## 核心论点
+
+对今天的 coding agent 而言，验证比生成更难。所有验证器都是用户意图的代理（proxy），永远不是意图本身。验证面临 **[[verification-trilemma|验证三难]]**：scalability（可扩展性）、faithfulness（忠实性）、robustness（鲁棒性）三者难以兼得。论文的核心主张：**不存在固定奖励函数能在 policy 增长下持续有效——验证必须与生成器 [[verifier-generator-coevolution|协同进化]]**。
+
+## 理论框架
+
+论文从 [[goodharts-law|Goodhart 定律]] 和 [[rice-theorem|Rice 定理]] 两个基础出发，论证了完美验证器的不可能性。意图天然欠定（[[intent-underspecification|intent underspecification]]），代理与意图之间的差距在优化压力下不是缩小而是扩大——这是 [[reward-hacking|奖励破解]] 的根源。
+
+验证信号质量沿三个维度刻画：
+- **Scalability**：能否以训练所需规模廉价生产
+- **Faithfulness**：反映多少真实用户意图 vs 窄化代理
+- **Robustness**：面对多样/对抗输入和持续优化压力时判断是否稳定
+
+三者交集（廉价 + 深度 + 抗博弈）正是目前缺失的核心。
+
+## 四种验证器架构
+
+### 1. Test Verifier（SWE 类任务）
+基于可执行测试的奖励信号。通过 [[agentic-quality-judge|Agent 质量判断器]] 过滤低质量任务（instruction 不清晰 / test-instruction 不对齐），通过 [[behavior-monitoring-rl|行为监控]] 检测并惩罚 shortcut 行为（solution artifact retrieval、test tampering 等）。
+
+**结果**：三个 SWE-Bench 变体上 hacked resolved rate 从 28.57% → 0.56%，clean resolved rate 从 40.22% → 60.53%。
+
+### 2. Interactive Judge（前端任务）
+前端任务需要评估视觉和交互质量。采用 [[rubric-based-evaluation|量规评估]] 将评分分解为多维度（Functional/Content/Visual/Layout/UX/Technical），进一步扩展为 [[interactive-judge|交互式判断器]]——通过 Playwright 在真实浏览器中执行用户交互并评估运行时行为。
+
+**关键优势**：抵抗静态判断器的长度利用——模型无法通过生成冗余代码骗分，因为奖励来自运行时行为而非源码长度。
+
+### 3. User Feedback Verifier（真实世界 Agent 任务）
+用户是最忠实的验证者。从用户交互数据中提取 [[human-implicit-reward-signals|人类隐式奖励信号]]（HIRS），通过 LLM-as-Judge 标注 polarity/confidence/fairness。提出 [[span-kto|Span-KTO]]——基于 span 级别的 KTO 偏好学习，对正负反馈施加差异化损失。
+
+**结果**：五个内部 coding-agent benchmark 上均提升，其中 Aone-bench 提升 +13.3pp。不仅"解决更多问题"，更关键的是"失败时表现更合理"。
+
+### 4. Automated Agent Verifier（长周期任务）
+对于从零构建完整仓库的长周期任务，部署 [[agent-evaluator|自主评估器]] 动态评估生成代码。通过多轮评估提示迭代（v1→v4）解决评估器常见失败模式：懒惰评估、缺少端到端验证、角色混淆、上下文过载。
+
+**关键发现**：不同训练目标（RFT vs RL vs 小候选池 RFT）对应不同 [[evaluator-metrics|评估器指标]] 偏好——排名能力不代表过滤质量。评估器必须与生成器协同进化。
+
+## 未来方向
+
+- 方案空间的质量分层（根治修复 vs 表面变通）
+- 捕获人类主观感知（动画流畅度、视觉层次）
+- 从离线反馈挖掘到在线学习
+- 评估器-生成器协同进化训练循环
+- 长周期和多智能体场景中的 credit assignment
+
+## 相关概念
+
+[[verification-horizon|验证边界]] · [[verification-trilemma|验证三难]] · [[verifier-generator-coevolution|验证器-生成器协同进化]] · [[reward-hacking|奖励破解]] · [[intent-underspecification|意图欠定性]] · [[test-driven-rewards|测试驱动奖励]] · [[agentic-quality-judge|Agent质量判断器]] · [[behavior-monitoring-rl|行为监控RL]] · [[interactive-judge|交互式判断器]] · [[rubric-based-evaluation|量规评估]] · [[human-implicit-reward-signals|人类隐式奖励信号]] · [[span-kto|Span-KTO]] · [[agent-evaluator|Agent评估器]] · [[evaluator-metrics|评估器质量指标]]