20260706:新增一些文章
This commit is contained in:
35
concepts/verification-horizon.md
Normal file
35
concepts/verification-horizon.md
Normal file
@@ -0,0 +1,35 @@
|
||||
---
|
||||
title: "验证边界(Verification Horizon)"
|
||||
created: 2026-07-02
|
||||
updated: 2026-07-02
|
||||
type: concept
|
||||
tags: [verification, reward-design, coding-agent]
|
||||
sources:
|
||||
- "[[verification-horizon-no-silver-bullet]]"
|
||||
---
|
||||
|
||||
# 验证边界(Verification Horizon)
|
||||
|
||||
**验证边界** 是 Qwen Team 在论文中提出的核心概念:验证器是一道不断后退的边界——当它所评估的生成器变得更强时,验证器必须同步进化才能保持有效性。
|
||||
|
||||
## 核心逻辑
|
||||
|
||||
1. **意图不可直接度量**:验证器只能将意图操作化为可计算的近似(proxy)
|
||||
2. **优化放大差距**:一旦 proxy 成为优化目标([[goodharts-law|Goodhart 定律]]),模型学会利用 proxy 与 intent 之间的 gap
|
||||
3. **边界后退**:policy 能力越强,越容易发现和利用 proxy 的盲区 → 验证器必须更新
|
||||
|
||||
## 理论支撑
|
||||
|
||||
- [[rice-theorem|Rice 定理]]:程序的任意非平凡性质不可判定——完美验证器不存在
|
||||
- [[goodharts-law|Goodhart 定律]]:度量一旦成为目标就不再是好度量
|
||||
- [[reward-hacking|奖励破解]] 不是 bug 而是持续优化的**必然结果**
|
||||
|
||||
## 协同进化
|
||||
|
||||
Co-evolution 是论文的核心主张:验证不是训练管线的辅助组件,而是**核心基础设施**。必须持续重建验证系统以适应不断增长的 policy 能力和演化的任务场景。
|
||||
|
||||
## 参考
|
||||
|
||||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||||
- [[verifier-generator-coevolution|验证器-生成器协同进化]]
|
||||
- [[verification-trilemma|验证三难]]
|
||||
Reference in New Issue
Block a user