Geometric Information Decomposition (GID, 2026)

Kisung You (Baruch College) 提出了 GID——一种对球面上加权经验测度进行分层方向不确定性诊断的方法论框架。

核心问题

当数据是球面上的加权测度（注意力嵌入、重要性采样粒子、后验样本）时，如何全面表征其方向不确定性？

标准答案 vMF 的 κ̂ 仅捕获一阶（平均方向）信息——对反极点、腰带、多模态结构完全盲化。

GID 框架

P̂_w = Σ w_i δ_{x_i}    (加权经验测度, x_i ∈ S^{d-1})
         │
         ▼
   嵌套最大熵投影 (V₀⊂V₁⊂V₂⊂...⊂V_L)
         │
         ▼
   信息缺口剖面 (I₁, I₂, ..., I_L)
         │
    ┌────┼────┬────┐
    ▼    ▼    ▼    ▼
  vMF  axial girdle multimodal

三级对应

缺口	球谐度	方向分布族	解释
I₁	1	von Mises-Fisher	平均方向浓度
I₂	2	Fisher-Bingham / Bingham	轴性、反极点、腰带、椭圆度
I₃+	≥3	高阶指数族	多模态、精细角结构

理论保证

不变性：基无关 + 旋转不变（球谐完备度空间）
一致性：Î_L → I_L(P)
渐近正态（非零缺口）：Delta 法置信区间
零校准（Theorem 8）：2a²_n Î_L ⇒ χ²_q —— 正式检验「是否需要更高级别」

信息几何根源

GID 的本质是 Amari 信息几何中层次 KL 分解和 Pythagorean 恒等式的球面特化：

I_L(P) = KL(p^P_L ν ∥ p^P_{L-1} ν)
D_L(P) = Σ_{ℓ=1}^L I_ℓ(P)

嵌套指数族 → 最大熵投影间的信息距离 = 逐级熵缺口。

实验亮点

S² 上的合成指纹：vMF → I₁ 最大；反极点/腰带 → I₂ 最大；四面体 → I₃ 最大
有限样本 χ² 校准准确
Query-weighted MNIST digit embedding：注意力加权嵌入的方向不确定性诊断

2.9 KiB Raw Blame History Unescape Escape