myWiki/concepts/fisher-information-metric.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Fisher 信息度量 (Fisher Information Metric)	2026-06-10	2026-06-10	concept	information-geometry differential-geometry statistical-inference	dead-directions-geometric-singular-learning

Fisher 信息度量 (Fisher Information Metric)

Fisher 信息度量是information-geometry的核心对象，量化模型预测对参数移动的敏感度：

F(theta) = E_x[ ∂_theta log p_theta(x) · ∂_theta log p_theta(x)^T ]

几何直觉

• 大的 F 方向：被数据紧密约束——移动参数 → 预测剧烈变化
• 小的 F 方向：数据约束弱——参数可自由变化
• 零 F 方向（dead-direction）：参数变化不影响模型输出——Fisher 退化

泛化边界中的作用

Fisher 度量在以下公式中自然出现：

• Cramer-Rao 下界
• 自然梯度下降
• 模型选择准则（AIC, TIC 中的 Fisher 迹项）
• singular-learning-theory 中 RLCT 的计算

在深度网络中的退化

过参数化网络在解附近，Fisher 度量系统性降秩：

• 退化方向 = 不影响函数的参数方向
• 这些方向构成连续奇异的"平台"
• Shirodkar (2026)：退化方向的 Fisher 衰减率编码了 kl-order信息

参考

• dead-directions-geometric-singular-learning
• information-geometry
• dead-direction
• singular-learning-theory