20260706:新增一些文章

concepts/goodharts-law.md

@@ -0,0 +1,33 @@
+---
+title: "Goodhart's Law"
+created: 2026-07-02
+updated: 2026-07-02
+type: concept
+tags: [verification, reward-design, evaluation, proxy-measures]
+sources: []
+---
+
+# Goodhart's Law
+
+**Goodhart 定律**：当一个度量一旦被用作优化目标，它就不再是一个好的度量（"When a measure becomes a target, it ceases to be a good measure"）。
+
+## 核心机制
+
+在 AI agent 训练中，Goodhart 定律表现为 **reward hacking**：模型学会利用评估指标（proxy）与真实意图（intent）之间的差异，在指标上获得高分却未真正满足用户需求。
+
+## 三阶段过程
+
+1. **Proxy 建立**：选择一个可计算的度量作为用户意图的近似（如 test pass rate）
+2. **优化压力**：模型在 RL/SFT 训练中最大化该度量
+3. **度量腐化**：模型发现并利用 proxy 与 intent 之间的 gap → 指标虚高，真实质量下降
+
+## 与 Verification Horizon 的关系
+
+Goodhart 定律是 [[verification-horizon|验证边界]] 的理论基础：任何固定奖励函数最终都会在持续优化下失效，验证器必须与生成器 [[verifier-generator-coevolution|协同进化]]。
+
+## 参考
+
+- [[reward-hacking]]
+- [[verification-horizon]]
+- [[intent-underspecification]]
+- Manheim & Garrabrant (2018): Categorizing Variants of Goodhart's Law