44 lines
1.5 KiB
Markdown
44 lines
1.5 KiB
Markdown
---
|
||
title: "Fisher 信息度量 (Fisher Information Metric)"
|
||
created: 2026-06-10
|
||
updated: 2026-06-10
|
||
type: concept
|
||
tags: ["information-geometry", "differential-geometry", "statistical-inference"]
|
||
sources: ["[[dead-directions-geometric-singular-learning]]"]
|
||
---
|
||
|
||
# Fisher 信息度量 (Fisher Information Metric)
|
||
|
||
**Fisher 信息度量**是[[information-geometry|信息几何]]的核心对象，量化模型预测对参数移动的敏感度：
|
||
|
||
```
|
||
F(theta) = E_x[ ∂_theta log p_theta(x) · ∂_theta log p_theta(x)^T ]
|
||
```
|
||
|
||
## 几何直觉
|
||
|
||
- **大的 F 方向**：被数据紧密约束——移动参数 → 预测剧烈变化
|
||
- **小的 F 方向**：数据约束弱——参数可自由变化
|
||
- **零 F 方向（[[dead-direction|Dead Direction]]）**：参数变化不影响模型输出——Fisher 退化
|
||
|
||
## 泛化边界中的作用
|
||
|
||
Fisher 度量在以下公式中自然出现：
|
||
- Cramer-Rao 下界
|
||
- 自然梯度下降
|
||
- 模型选择准则（AIC, TIC 中的 Fisher 迹项）
|
||
- [[singular-learning-theory|SLT]] 中 RLCT 的计算
|
||
|
||
## 在深度网络中的退化
|
||
|
||
过参数化网络在解附近，Fisher 度量系统性降秩：
|
||
- 退化方向 = 不影响函数的参数方向
|
||
- 这些方向构成连续奇异的"平台"
|
||
- Shirodkar (2026)：退化方向的 Fisher 衰减率编码了 [[kl-order|KL 阶]]信息
|
||
|
||
## 参考
|
||
- [[dead-directions-geometric-singular-learning|Dead Directions]]
|
||
- [[information-geometry|Information Geometry]]
|
||
- [[dead-direction|Dead Direction]]
|
||
- [[singular-learning-theory|Singular Learning Theory]]
|