20260617:目前有914 页

concepts/fisher-information-metric.md

@@ -0,0 +1,43 @@
+---
+title: "Fisher 信息度量 (Fisher Information Metric)"
+created: 2026-06-10
+updated: 2026-06-10
+type: concept
+tags: ["information-geometry", "differential-geometry", "statistical-inference"]
+sources: ["[[dead-directions-geometric-singular-learning]]"]
+---
+
+# Fisher 信息度量 (Fisher Information Metric)
+
+**Fisher 信息度量**是[[information-geometry|信息几何]]的核心对象，量化模型预测对参数移动的敏感度：
+
+```
+F(theta) = E_x[ ∂_theta log p_theta(x) · ∂_theta log p_theta(x)^T ]
+```
+
+## 几何直觉
+
+- **大的 F 方向**：被数据紧密约束——移动参数 → 预测剧烈变化
+- **小的 F 方向**：数据约束弱——参数可自由变化
+- **零 F 方向（[[dead-direction|Dead Direction]]）**：参数变化不影响模型输出——Fisher 退化
+
+## 泛化边界中的作用
+
+Fisher 度量在以下公式中自然出现：
+- Cramer-Rao 下界
+- 自然梯度下降
+- 模型选择准则（AIC, TIC 中的 Fisher 迹项）
+- [[singular-learning-theory|SLT]] 中 RLCT 的计算
+
+## 在深度网络中的退化
+
+过参数化网络在解附近，Fisher 度量系统性降秩：
+- 退化方向 = 不影响函数的参数方向
+- 这些方向构成连续奇异的"平台"
+- Shirodkar (2026)：退化方向的 Fisher 衰减率编码了 [[kl-order|KL 阶]]信息
+
+## 参考
+- [[dead-directions-geometric-singular-learning|Dead Directions]]
+- [[information-geometry|Information Geometry]]
+- [[dead-direction|Dead Direction]]
+- [[singular-learning-theory|Singular Learning Theory]]