83 lines
2.9 KiB
Markdown
83 lines
2.9 KiB
Markdown
---
|
||
title: "Geometric Information Decomposition for Weighted Empirical Measures on the Sphere"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: paper
|
||
tags: ["directional-statistics", "maximum-entropy", "information-geometry", "uncertainty-quantification", "spherical-data"]
|
||
arxiv: "2607.02943"
|
||
authors: ["Kisung You"]
|
||
venue: "arXiv preprint"
|
||
year: 2026
|
||
sources: ["https://arxiv.org/abs/2607.02943"]
|
||
---
|
||
|
||
# Geometric Information Decomposition (GID, 2026)
|
||
|
||
**Kisung You (Baruch College)** 提出了 **GID**——一种对球面上加权经验测度进行分层方向不确定性诊断的方法论框架。
|
||
|
||
## 核心问题
|
||
|
||
> 当数据是球面上的加权测度（注意力嵌入、重要性采样粒子、后验样本）时，如何全面表征其方向不确定性？
|
||
|
||
标准答案 vMF 的 κ̂ **仅捕获一阶（平均方向）信息**——对反极点、腰带、多模态结构完全盲化。
|
||
|
||
## GID 框架
|
||
|
||
```
|
||
P̂_w = Σ w_i δ_{x_i} (加权经验测度, x_i ∈ S^{d-1})
|
||
│
|
||
▼
|
||
嵌套最大熵投影 (V₀⊂V₁⊂V₂⊂...⊂V_L)
|
||
│
|
||
▼
|
||
信息缺口剖面 (I₁, I₂, ..., I_L)
|
||
│
|
||
┌────┼────┬────┐
|
||
▼ ▼ ▼ ▼
|
||
vMF axial girdle multimodal
|
||
```
|
||
|
||
## 三级对应
|
||
|
||
| 缺口 | 球谐度 | 方向分布族 | 解释 |
|
||
|------|--------|-----------|------|
|
||
| I₁ | 1 | von Mises-Fisher | 平均方向浓度 |
|
||
| I₂ | 2 | Fisher-Bingham / Bingham | 轴性、反极点、腰带、椭圆度 |
|
||
| I₃+ | ≥3 | 高阶指数族 | 多模态、精细角结构 |
|
||
|
||
## 理论保证
|
||
|
||
1. **不变性**：基无关 + 旋转不变（球谐完备度空间）
|
||
2. **一致性**：Î_L → I_L(P)
|
||
3. **渐近正态**（非零缺口）：Delta 法置信区间
|
||
4. **零校准**（Theorem 8）：2a²_n Î_L ⇒ χ²_q —— 正式检验「是否需要更高级别」
|
||
|
||
## 信息几何根源
|
||
|
||
GID 的本质是 Amari 信息几何中**层次 KL 分解**和 Pythagorean 恒等式的球面特化：
|
||
|
||
```
|
||
I_L(P) = KL(p^P_L ν ∥ p^P_{L-1} ν)
|
||
D_L(P) = Σ_{ℓ=1}^L I_ℓ(P)
|
||
```
|
||
|
||
嵌套指数族 → 最大熵投影间的信息距离 = 逐级熵缺口。
|
||
|
||
## 实验亮点
|
||
|
||
- S² 上的合成指纹：vMF → I₁ 最大；反极点/腰带 → I₂ 最大；四面体 → I₃ 最大
|
||
- 有限样本 χ² 校准准确
|
||
- Query-weighted MNIST digit embedding：注意力加权嵌入的方向不确定性诊断
|
||
|
||
## 相关概念
|
||
|
||
- [[geometric-information-decomposition|GID]]
|
||
- [[entropy-deficit|Entropy Deficit]]
|
||
- [[information-gap|Information Gap]]
|
||
- [[maximum-entropy-projection|Maximum Entropy Projection]]
|
||
- [[spherical-harmonic-features|Spherical Harmonic Features]]
|
||
- [[directional-uncertainty-decomposition|Directional Uncertainty Decomposition]]
|
||
- [[information-geometry|Information Geometry]]
|
||
|
||
来源: [原始存档](raw/papers/You-GID-sphere-2026.md) | [arXiv](https://arxiv.org/abs/2607.02943) | [Code](https://github.com/kisungyou/GeoInfoDec)
|