20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,46 @@
---
title: "Review: The Verification Horizon"
created: 2026-07-02
type: review
tags: [verification, reward-design, coding-agent, qwen]
---
# Review: The Verification Horizon — No Silver Bullet for Coding Agent Rewards
📌 **基本信息**
- 论文The Verification Horizon: No Silver Bullet for Coding Agent Rewards
- 作者Qwen Team (Alibaba)13 位核心贡献者
- 领域cs.AI / cs.CL — Coding Agent 验证与奖励设计
- arXiv2606.26300
- 添加时间2026-07-02
🎯 **核心概念**
1. **Verification Horizon** — 验证是一道不断后退的边界:随着生成器增强,任何固定验证器最终都会被超越
2. **Verification Trilemma** — Scalability / Faithfulness / Robustness 三者不可兼得,三者交集正是当前缺失的核心
3. **Verifier-Generator Co-evolution** — 验证不是一次性设计问题,而是持续运维;必须与生成器协同进化
4. **Intent Underspecification** — 意图天然欠定是验证困难的根源proxy-intent gap 在优化下扩大而非缩小
5. **Span-KTO** — 将 KTO 扩展到 span 级,利用人类隐式反馈的 polarity 信号进行偏好学习
🔗 **概念网络**
- **核心连接**Verification Horizon ↔ Verification Trilemma ↔ Co-evolution ↔ Reward Hacking
- **理论锚定**Goodhart's Law + Rice's Theorem → 完美验证器的不可能性证明
- **四个验证器架构**Test Verifier → Interactive Judge → User Feedback Verifier → Automated Agent Verifier
- **新增概念**16 个2 umbrella + 14 论文专属)
- **复用已有概念**reward-hacking
📚 **Wiki 集成**
- 新增页面17 个1 论文页 + 16 概念页)
- 论文页:`papers/verification-horizon-no-silver-bullet.md`
- 概念密度14 个论文专属概念覆盖四类验证器 + 理论框架
- 交叉引用:所有概念页均双向链接回论文页
💡 **关键洞察**
1. **验证比生成更难**——这是 Brooks "No Silver Bullet" 在 AI 时代的新版本。论文从 Goodhart 定律和 Rice 定理两个方向论证了完美验证器的理论不可能性,将验证从"工程优化问题"提升为"持续运维问题"。
2. **四种验证器构成递进光谱**:从机械测试 → 交互判断 → 用户反馈 → 自主评估,每一级更忠实于用户意图但更难鲁棒验证。这个光谱本身就是 verification trilemma 的具象化——每个方案在三维中做出不同取舍。
3. **Span-KTO 的深层意义**:不只是 +13.3pp 的性能提升——更重要的是模型学会了**"失败时表现更合理"**Inefficiency +34.5%, Communication +26.5%)。这对真实部署的信任建立至关重要。