---
title: "信息几何 (Information Geometry)"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["differential-geometry", "statistical-inference", "fisher-metric"]
sources: ["[[dead-directions-geometric-singular-learning]]"]
---

# 信息几何 (Information Geometry)

**信息几何**（Amari, 2016）将参数统计模型 {p_theta} 视为配备 [[fisher-information-metric|Fisher 度量]]的黎曼流形。

## 核心构造

1. **Fisher 度量**：g_{ij} = E[∂_i log p · ∂_j log p]
2. **自然梯度**：nabla^{nat} = F^{-1} · nabla（在 Fisher 度量下最陡下降方向）
3. **对偶连接**：(nabla, nabla*) 结构
4. **指数/混合平坦性对偶**

## 基本假设

信息几何的几乎所有构造都要求 Fisher 度量是**非退化的**——满秩。然而：

- 过参数化模型：参数维度 >> 有效数据约束 → Fisher 矩阵降秩
- 奇异集上：Fisher 度量完全退化

→ 信息几何在奇异集上"沉默"

## 与 SLT 的桥接

[[dead-direction|Dead Direction]] 是信息几何中 Fisher 退化方向的具体刻画。Shirodkar (2026) 证明：

- Amari 框架中 Fisher 退化的方向 = Watanabe 框架中奇异集的切向量
- KL 阶在两种语言中均可定义——成为桥接不变量

## 参考
- [[dead-directions-geometric-singular-learning|Dead Directions]]
- [[singular-learning-theory|Singular Learning Theory]]
- [[fisher-information-metric|Fisher Information Metric]]
- [[dead-direction|Dead Direction]]