---
title: "Fisher 信息度量 (Fisher Information Metric)"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["information-geometry", "differential-geometry", "statistical-inference"]
sources: ["[[dead-directions-geometric-singular-learning]]"]
---

# Fisher 信息度量 (Fisher Information Metric)

**Fisher 信息度量**是[[information-geometry|信息几何]]的核心对象，量化模型预测对参数移动的敏感度：

```
F(theta) = E_x[ ∂_theta log p_theta(x) · ∂_theta log p_theta(x)^T ]
```

## 几何直觉

- **大的 F 方向**：被数据紧密约束——移动参数 → 预测剧烈变化
- **小的 F 方向**：数据约束弱——参数可自由变化
- **零 F 方向（[[dead-direction|Dead Direction]]）**：参数变化不影响模型输出——Fisher 退化

## 泛化边界中的作用

Fisher 度量在以下公式中自然出现：
- Cramer-Rao 下界
- 自然梯度下降
- 模型选择准则（AIC, TIC 中的 Fisher 迹项）
- [[singular-learning-theory|SLT]] 中 RLCT 的计算

## 在深度网络中的退化

过参数化网络在解附近，Fisher 度量系统性降秩：
- 退化方向 = 不影响函数的参数方向
- 这些方向构成连续奇异的"平台"
- Shirodkar (2026)：退化方向的 Fisher 衰减率编码了 [[kl-order|KL 阶]]信息

## 参考
- [[dead-directions-geometric-singular-learning|Dead Directions]]
- [[information-geometry|Information Geometry]]
- [[dead-direction|Dead Direction]]
- [[singular-learning-theory|Singular Learning Theory]]