1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Information Gap (信息缺口) | 2026-07-10 | 2026-07-10 | concept |
|
|
Information Gap (信息缺口)
信息缺口 I_L(P) = D_L(P) - D_{L-1}(P) 是 geometric-information-decomposition 的核心诊断量——第 L 级球面特征相对于前一级新增的几何信息。
恒等式
I_L(P) = KL(p^P_L ν ∥ p^P_{L-1} ν)
即：第 L 级缺口 = 精炼投影与粗投影之间的 KL 散度。这是 Amari 信息几何中层级 KL 分解的直接推论。
三级解释
| 缺口 | 如果大 | 如果 ≈ 0 |
|---|---|---|
| I₁ | 有明确首选方向 → vMF 够用 | 无平均方向偏好 |
| I₂ | 存在轴性/反极点/腰带结构 → vMF 不足 | 二阶各向同性 |
| I₃ | 存在多模态或更精细角结构 | 前两级已充分捕获结构 |
推断
非零缺口（Theorem 7）
当 I_L(P) > 0，Delta 法给出正态近似的置信区间：
a_n (Î_L - I_L) ⇒ N(0, γ_Lᵀ Σ_L γ_L)
零缺口检验（Theorem 8）
当 I_L(P) = 0（即更高阶特征未增加信息），需要二阶校准：
2a²_n Î_L ⇒ χ²_q （在 i.i.d. 正确设定下）
这是检验"是否需要更高级别"的正式统计框架——第一阶导数在零处消失，标准的 Wald 检验不可用。