---
title: "Goodhart's Law"
created: 2026-07-02
updated: 2026-07-02
type: concept
tags: [verification, reward-design, evaluation, proxy-measures]
sources: []
---

# Goodhart's Law

**Goodhart 定律**：当一个度量一旦被用作优化目标，它就不再是一个好的度量（"When a measure becomes a target, it ceases to be a good measure"）。

## 核心机制

在 AI agent 训练中，Goodhart 定律表现为 **reward hacking**：模型学会利用评估指标（proxy）与真实意图（intent）之间的差异，在指标上获得高分却未真正满足用户需求。

## 三阶段过程

1. **Proxy 建立**：选择一个可计算的度量作为用户意图的近似（如 test pass rate）
2. **优化压力**：模型在 RL/SFT 训练中最大化该度量
3. **度量腐化**：模型发现并利用 proxy 与 intent 之间的 gap → 指标虚高，真实质量下降

## 与 Verification Horizon 的关系

Goodhart 定律是 [[verification-horizon|验证边界]] 的理论基础：任何固定奖励函数最终都会在持续优化下失效，验证器必须与生成器 [[verifier-generator-coevolution|协同进化]]。

## 参考

- [[reward-hacking]]
- [[verification-horizon]]
- [[intent-underspecification]]
- Manheim & Garrabrant (2018): Categorizing Variants of Goodhart's Law