42 lines
1.4 KiB
Markdown
42 lines
1.4 KiB
Markdown
---
|
||
title: "信息几何 (Information Geometry)"
|
||
created: 2026-06-10
|
||
updated: 2026-06-10
|
||
type: concept
|
||
tags: ["differential-geometry", "statistical-inference", "fisher-metric"]
|
||
sources: ["[[dead-directions-geometric-singular-learning]]"]
|
||
---
|
||
|
||
# 信息几何 (Information Geometry)
|
||
|
||
**信息几何**（Amari, 2016）将参数统计模型 {p_theta} 视为配备 [[fisher-information-metric|Fisher 度量]]的黎曼流形。
|
||
|
||
## 核心构造
|
||
|
||
1. **Fisher 度量**：g_{ij} = E[∂_i log p · ∂_j log p]
|
||
2. **自然梯度**：nabla^{nat} = F^{-1} · nabla（在 Fisher 度量下最陡下降方向）
|
||
3. **对偶连接**：(nabla, nabla*) 结构
|
||
4. **指数/混合平坦性对偶**
|
||
|
||
## 基本假设
|
||
|
||
信息几何的几乎所有构造都要求 Fisher 度量是**非退化的**——满秩。然而：
|
||
|
||
- 过参数化模型：参数维度 >> 有效数据约束 → Fisher 矩阵降秩
|
||
- 奇异集上：Fisher 度量完全退化
|
||
|
||
→ 信息几何在奇异集上"沉默"
|
||
|
||
## 与 SLT 的桥接
|
||
|
||
[[dead-direction|Dead Direction]] 是信息几何中 Fisher 退化方向的具体刻画。Shirodkar (2026) 证明：
|
||
|
||
- Amari 框架中 Fisher 退化的方向 = Watanabe 框架中奇异集的切向量
|
||
- KL 阶在两种语言中均可定义——成为桥接不变量
|
||
|
||
## 参考
|
||
- [[dead-directions-geometric-singular-learning|Dead Directions]]
|
||
- [[singular-learning-theory|Singular Learning Theory]]
|
||
- [[fisher-information-metric|Fisher Information Metric]]
|
||
- [[dead-direction|Dead Direction]]
|