47 lines
2.6 KiB
Markdown
47 lines
2.6 KiB
Markdown
---
|
||
title: "Review: The Verification Horizon"
|
||
created: 2026-07-02
|
||
type: review
|
||
tags: [verification, reward-design, coding-agent, qwen]
|
||
---
|
||
|
||
# Review: The Verification Horizon — No Silver Bullet for Coding Agent Rewards
|
||
|
||
📌 **基本信息**
|
||
- 论文：The Verification Horizon: No Silver Bullet for Coding Agent Rewards
|
||
- 作者：Qwen Team (Alibaba)，13 位核心贡献者
|
||
- 领域：cs.AI / cs.CL — Coding Agent 验证与奖励设计
|
||
- arXiv：2606.26300
|
||
- 添加时间：2026-07-02
|
||
|
||
🎯 **核心概念**
|
||
|
||
1. **Verification Horizon** — 验证是一道不断后退的边界：随着生成器增强，任何固定验证器最终都会被超越
|
||
2. **Verification Trilemma** — Scalability / Faithfulness / Robustness 三者不可兼得，三者交集正是当前缺失的核心
|
||
3. **Verifier-Generator Co-evolution** — 验证不是一次性设计问题，而是持续运维；必须与生成器协同进化
|
||
4. **Intent Underspecification** — 意图天然欠定是验证困难的根源，proxy-intent gap 在优化下扩大而非缩小
|
||
5. **Span-KTO** — 将 KTO 扩展到 span 级，利用人类隐式反馈的 polarity 信号进行偏好学习
|
||
|
||
🔗 **概念网络**
|
||
|
||
- **核心连接**：Verification Horizon ↔ Verification Trilemma ↔ Co-evolution ↔ Reward Hacking
|
||
- **理论锚定**：Goodhart's Law + Rice's Theorem → 完美验证器的不可能性证明
|
||
- **四个验证器架构**：Test Verifier → Interactive Judge → User Feedback Verifier → Automated Agent Verifier
|
||
- **新增概念**：16 个（2 umbrella + 14 论文专属）
|
||
- **复用已有概念**：reward-hacking
|
||
|
||
📚 **Wiki 集成**
|
||
|
||
- 新增页面：17 个（1 论文页 + 16 概念页）
|
||
- 论文页：`papers/verification-horizon-no-silver-bullet.md`
|
||
- 概念密度：14 个论文专属概念覆盖四类验证器 + 理论框架
|
||
- 交叉引用：所有概念页均双向链接回论文页
|
||
|
||
💡 **关键洞察**
|
||
|
||
1. **验证比生成更难**——这是 Brooks "No Silver Bullet" 在 AI 时代的新版本。论文从 Goodhart 定律和 Rice 定理两个方向论证了完美验证器的理论不可能性，将验证从"工程优化问题"提升为"持续运维问题"。
|
||
|
||
2. **四种验证器构成递进光谱**：从机械测试 → 交互判断 → 用户反馈 → 自主评估，每一级更忠实于用户意图但更难鲁棒验证。这个光谱本身就是 verification trilemma 的具象化——每个方案在三维中做出不同取舍。
|
||
|
||
3. **Span-KTO 的深层意义**：不只是 +13.3pp 的性能提升——更重要的是模型学会了**"失败时表现更合理"**（Inefficiency +34.5%, Communication +26.5%）。这对真实部署的信任建立至关重要。
|