1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Statistical Manifold (统计流形) | 2026-06-23 | 2026-06-23 | concept |
|
|
Statistical Manifold (统计流形)
统计流形是一个参数统计模型 {p_θ : θ ∈ Θ ⊂ ℝᵈ} 配备 fisher-information-metric构成的黎曼流形 (Θ, g_F)。
核心结构
Fisher 度量在 θ 点定义为：
G(θ)_{ij} = E_{x∼p_θ} [∂_i log p_θ(x) · ∂_j log p_θ(x)]
该度量赋予参数空间局部统计可区分性的几何尺度：
- G(θ) 大的方向：参数微小变化 → 分布显著改变
- G(θ) 小的方向：参数变化对分布影响弱
- G(θ) ≻ 0 假设：标准统计流形理论要求 Fisher 满秩
关键不变量
- KL 散度的局部展开：D_KL(p_θ ∥ p_{θ+Δθ}) = ½ Δθᵀ G(θ) Δθ + o(∥Δθ∥²)
- 再参数化不变性：平滑坐标变换下 G(θ) 按张量规律变换
- 自然梯度：∇^{nat} = G⁻¹ ∇（Fisher 几何下的最陡方向）
与信息几何的关系
information-geometry (Amari, 2016) 进一步在统计流形上引入：
- 对偶仿射连接 (∇, ∇*)
- 指数/混合平坦性对偶
- 散度几何与投影定理
在 Fisher Width 中的角色
fisher-width 的核心操作是局部 Fisher 重标度：
v ↦ G(θ)^{1/2} v
它将欧几里得集合 T 变形为 Fisher 几何中的"有效形状" G(θ)^{1/2} T，使其宽度对统计曲率敏感。