20260706:新增一些文章
This commit is contained in:
46
reviews/verification-horizon-review-20260702.md
Normal file
46
reviews/verification-horizon-review-20260702.md
Normal file
@@ -0,0 +1,46 @@
|
||||
---
|
||||
title: "Review: The Verification Horizon"
|
||||
created: 2026-07-02
|
||||
type: review
|
||||
tags: [verification, reward-design, coding-agent, qwen]
|
||||
---
|
||||
|
||||
# Review: The Verification Horizon — No Silver Bullet for Coding Agent Rewards
|
||||
|
||||
📌 **基本信息**
|
||||
- 论文:The Verification Horizon: No Silver Bullet for Coding Agent Rewards
|
||||
- 作者:Qwen Team (Alibaba),13 位核心贡献者
|
||||
- 领域:cs.AI / cs.CL — Coding Agent 验证与奖励设计
|
||||
- arXiv:2606.26300
|
||||
- 添加时间:2026-07-02
|
||||
|
||||
🎯 **核心概念**
|
||||
|
||||
1. **Verification Horizon** — 验证是一道不断后退的边界:随着生成器增强,任何固定验证器最终都会被超越
|
||||
2. **Verification Trilemma** — Scalability / Faithfulness / Robustness 三者不可兼得,三者交集正是当前缺失的核心
|
||||
3. **Verifier-Generator Co-evolution** — 验证不是一次性设计问题,而是持续运维;必须与生成器协同进化
|
||||
4. **Intent Underspecification** — 意图天然欠定是验证困难的根源,proxy-intent gap 在优化下扩大而非缩小
|
||||
5. **Span-KTO** — 将 KTO 扩展到 span 级,利用人类隐式反馈的 polarity 信号进行偏好学习
|
||||
|
||||
🔗 **概念网络**
|
||||
|
||||
- **核心连接**:Verification Horizon ↔ Verification Trilemma ↔ Co-evolution ↔ Reward Hacking
|
||||
- **理论锚定**:Goodhart's Law + Rice's Theorem → 完美验证器的不可能性证明
|
||||
- **四个验证器架构**:Test Verifier → Interactive Judge → User Feedback Verifier → Automated Agent Verifier
|
||||
- **新增概念**:16 个(2 umbrella + 14 论文专属)
|
||||
- **复用已有概念**:reward-hacking
|
||||
|
||||
📚 **Wiki 集成**
|
||||
|
||||
- 新增页面:17 个(1 论文页 + 16 概念页)
|
||||
- 论文页:`papers/verification-horizon-no-silver-bullet.md`
|
||||
- 概念密度:14 个论文专属概念覆盖四类验证器 + 理论框架
|
||||
- 交叉引用:所有概念页均双向链接回论文页
|
||||
|
||||
💡 **关键洞察**
|
||||
|
||||
1. **验证比生成更难**——这是 Brooks "No Silver Bullet" 在 AI 时代的新版本。论文从 Goodhart 定律和 Rice 定理两个方向论证了完美验证器的理论不可能性,将验证从"工程优化问题"提升为"持续运维问题"。
|
||||
|
||||
2. **四种验证器构成递进光谱**:从机械测试 → 交互判断 → 用户反馈 → 自主评估,每一级更忠实于用户意图但更难鲁棒验证。这个光谱本身就是 verification trilemma 的具象化——每个方案在三维中做出不同取舍。
|
||||
|
||||
3. **Span-KTO 的深层意义**:不只是 +13.3pp 的性能提升——更重要的是模型学会了**"失败时表现更合理"**(Inefficiency +34.5%, Communication +26.5%)。这对真实部署的信任建立至关重要。
|
||||
Reference in New Issue
Block a user