myWiki/concepts/information-geometry.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
信息几何 (Information Geometry)	2026-06-10	2026-06-10	concept	differential-geometry statistical-inference fisher-metric	dead-directions-geometric-singular-learning

信息几何 (Information Geometry)

信息几何（Amari, 2016）将参数统计模型 {p_theta} 视为配备 fisher-information-metric的黎曼流形。

核心构造

1. Fisher 度量：g_{ij} = E[∂_i log p · ∂_j log p]
2. 自然梯度：nabla^{nat} = F^{-1} · nabla（在 Fisher 度量下最陡下降方向）
3. 对偶连接：(nabla, nabla*) 结构
4. 指数/混合平坦性对偶

基本假设

信息几何的几乎所有构造都要求 Fisher 度量是非退化的——满秩。然而：

• 过参数化模型：参数维度 >> 有效数据约束 → Fisher 矩阵降秩
• 奇异集上：Fisher 度量完全退化

→ 信息几何在奇异集上"沉默"

与 SLT 的桥接

dead-direction 是信息几何中 Fisher 退化方向的具体刻画。Shirodkar (2026) 证明：

• Amari 框架中 Fisher 退化的方向 = Watanabe 框架中奇异集的切向量
• KL 阶在两种语言中均可定义——成为桥接不变量

参考

• dead-directions-geometric-singular-learning
• singular-learning-theory
• fisher-information-metric
• dead-direction