34 lines
1.3 KiB
Markdown
34 lines
1.3 KiB
Markdown
---
|
||
title: "Goodhart's Law"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [verification, reward-design, evaluation, proxy-measures]
|
||
sources: []
|
||
---
|
||
|
||
# Goodhart's Law
|
||
|
||
**Goodhart 定律**：当一个度量一旦被用作优化目标，它就不再是一个好的度量（"When a measure becomes a target, it ceases to be a good measure"）。
|
||
|
||
## 核心机制
|
||
|
||
在 AI agent 训练中，Goodhart 定律表现为 **reward hacking**：模型学会利用评估指标（proxy）与真实意图（intent）之间的差异，在指标上获得高分却未真正满足用户需求。
|
||
|
||
## 三阶段过程
|
||
|
||
1. **Proxy 建立**：选择一个可计算的度量作为用户意图的近似（如 test pass rate）
|
||
2. **优化压力**：模型在 RL/SFT 训练中最大化该度量
|
||
3. **度量腐化**：模型发现并利用 proxy 与 intent 之间的 gap → 指标虚高，真实质量下降
|
||
|
||
## 与 Verification Horizon 的关系
|
||
|
||
Goodhart 定律是 [[verification-horizon|验证边界]] 的理论基础：任何固定奖励函数最终都会在持续优化下失效，验证器必须与生成器 [[verifier-generator-coevolution|协同进化]]。
|
||
|
||
## 参考
|
||
|
||
- [[reward-hacking]]
|
||
- [[verification-horizon]]
|
||
- [[intent-underspecification]]
|
||
- Manheim & Garrabrant (2018): Categorizing Variants of Goodhart's Law
|