20260720
This commit is contained in:
52
concepts/information-gap.md
Normal file
52
concepts/information-gap.md
Normal file
@@ -0,0 +1,52 @@
|
||||
---
|
||||
title: "Information Gap (信息缺口)"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: concept
|
||||
tags: ["directional-statistics", "information-geometry", "hypothesis-testing", "spherical-data"]
|
||||
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
|
||||
---
|
||||
|
||||
# Information Gap (信息缺口)
|
||||
|
||||
**信息缺口** I_L(P) = D_L(P) - D_{L-1}(P) 是 [[geometric-information-decomposition|GID]] 的核心诊断量——第 L 级球面特征相对于前一级**新增**的几何信息。
|
||||
|
||||
## 恒等式
|
||||
|
||||
```
|
||||
I_L(P) = KL(p^P_L ν ∥ p^P_{L-1} ν)
|
||||
```
|
||||
|
||||
即:第 L 级缺口 = 精炼投影与粗投影之间的 KL 散度。这是 Amari 信息几何中层级 KL 分解的直接推论。
|
||||
|
||||
## 三级解释
|
||||
|
||||
| 缺口 | 如果大 | 如果 ≈ 0 |
|
||||
|------|--------|----------|
|
||||
| **I₁** | 有明确首选方向 → vMF 够用 | 无平均方向偏好 |
|
||||
| **I₂** | 存在轴性/反极点/腰带结构 → vMF 不足 | 二阶各向同性 |
|
||||
| **I₃** | 存在多模态或更精细角结构 | 前两级已充分捕获结构 |
|
||||
|
||||
## 推断
|
||||
|
||||
### 非零缺口(Theorem 7)
|
||||
当 I_L(P) > 0,Delta 法给出正态近似的置信区间:
|
||||
|
||||
```
|
||||
a_n (Î_L - I_L) ⇒ N(0, γ_Lᵀ Σ_L γ_L)
|
||||
```
|
||||
|
||||
### 零缺口检验(Theorem 8)
|
||||
当 I_L(P) = 0(即更高阶特征未增加信息),需要**二阶校准**:
|
||||
|
||||
```
|
||||
2a²_n Î_L ⇒ χ²_q (在 i.i.d. 正确设定下)
|
||||
```
|
||||
|
||||
这是检验"是否需要更高级别"的正式统计框架——第一阶导数在零处消失,标准的 Wald 检验不可用。
|
||||
|
||||
## 参考
|
||||
|
||||
- [[geometric-information-decomposition|GID]]
|
||||
- [[entropy-deficit|Entropy Deficit]]
|
||||
- [[maximum-entropy-projection|Maximum Entropy Projection]]
|
||||
Reference in New Issue
Block a user