myWiki/concepts/goodharts-law.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Goodhart's Law	2026-07-02	2026-07-02	concept	verification reward-design evaluation proxy-measures

Goodhart's Law

Goodhart 定律：当一个度量一旦被用作优化目标，它就不再是一个好的度量（"When a measure becomes a target, it ceases to be a good measure"）。

核心机制

在 AI agent 训练中，Goodhart 定律表现为 reward hacking：模型学会利用评估指标（proxy）与真实意图（intent）之间的差异，在指标上获得高分却未真正满足用户需求。

三阶段过程

1. Proxy 建立：选择一个可计算的度量作为用户意图的近似（如 test pass rate）
2. 优化压力：模型在 RL/SFT 训练中最大化该度量
3. 度量腐化：模型发现并利用 proxy 与 intent 之间的 gap → 指标虚高，真实质量下降

与 Verification Horizon 的关系

Goodhart 定律是 verification-horizon 的理论基础：任何固定奖励函数最终都会在持续优化下失效，验证器必须与生成器 verifier-generator-coevolution。

参考

• reward-hacking
• verification-horizon
• intent-underspecification
• Manheim & Garrabrant (2018): Categorizing Variants of Goodhart's Law