20260617:目前有914 页

concepts/information-geometry.md

@@ -0,0 +1,41 @@
+---
+title: "信息几何 (Information Geometry)"
+created: 2026-06-10
+updated: 2026-06-10
+type: concept
+tags: ["differential-geometry", "statistical-inference", "fisher-metric"]
+sources: ["[[dead-directions-geometric-singular-learning]]"]
+---
+
+# 信息几何 (Information Geometry)
+
+**信息几何**（Amari, 2016）将参数统计模型 {p_theta} 视为配备 [[fisher-information-metric|Fisher 度量]]的黎曼流形。
+
+## 核心构造
+
+1. **Fisher 度量**：g_{ij} = E[∂_i log p · ∂_j log p]
+2. **自然梯度**：nabla^{nat} = F^{-1} · nabla（在 Fisher 度量下最陡下降方向）
+3. **对偶连接**：(nabla, nabla*) 结构
+4. **指数/混合平坦性对偶**
+
+## 基本假设
+
+信息几何的几乎所有构造都要求 Fisher 度量是**非退化的**——满秩。然而：
+
+- 过参数化模型：参数维度 >> 有效数据约束 → Fisher 矩阵降秩
+- 奇异集上：Fisher 度量完全退化
+
+→ 信息几何在奇异集上"沉默"
+
+## 与 SLT 的桥接
+
+[[dead-direction|Dead Direction]] 是信息几何中 Fisher 退化方向的具体刻画。Shirodkar (2026) 证明：
+
+- Amari 框架中 Fisher 退化的方向 = Watanabe 框架中奇异集的切向量
+- KL 阶在两种语言中均可定义——成为桥接不变量
+
+## 参考
+- [[dead-directions-geometric-singular-learning|Dead Directions]]
+- [[singular-learning-theory|Singular Learning Theory]]
+- [[fisher-information-metric|Fisher Information Metric]]
+- [[dead-direction|Dead Direction]]