20260720

concepts/entropy-deficit.md

@@ -0,0 +1,55 @@
+---
+title: "Entropy Deficit (熵赤字)"
+created: 2026-07-10
+updated: 2026-07-10
+type: concept
+tags: ["information-geometry", "kl-divergence", "directional-statistics", "maximum-entropy"]
+sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
+---
+
+# Entropy Deficit (熵赤字)
+
+在 [[geometric-information-decomposition|GID]] 中，**熵赤字** D_L(P) 是第 L 级最大熵投影与均匀分布之间的 KL 散度。
+
+## 定义
+
+```
+D_L(P) = KL(p^P_L ν ∥ ν) = ∫ p^P_L log p^P_L dν ≥ 0
+```
+
+其中 ν 是球面上的归一化面测度（均匀分布 = p ≡ 1, h(p) = 0）。
+
+## 有效不确定性
+
+从熵赤字可定义**有效不确定性**：
+
+```
+U_L(P) = exp{-D_L(P)} ∈ (0, 1]
+```
+
+- U_L = 1：第 L 级特征未捕获任何非均匀信息
+- U_L ≪ 1：特征解释了显著的结构
+
+## 单调性
+
+嵌套特征空间 → D_L(P) 单调非降：
+
+```
+0 = D₀(P) ≤ D₁(P) ≤ D₂(P) ≤ ... ≤ D_L(P)
+```
+
+每增加一级特征，投影密度至少保留前一级的所有信息——更多信息不可能减少 KL 散度。
+
+## KL-gap 恒等式
+
+```
+D_L(P) = Σ_{ℓ=1}^L I_ℓ(P)
+```
+
+即总熵赤字 = 各级信息缺口之和。这是 Amari 信息几何中层次 KL 分解（Pythagorean 恒等式）的特例。
+
+## 参考
+
+- [[geometric-information-decomposition|GID]]
+- [[information-gap|Information Gap]]
+- [[maximum-entropy-projection|Maximum Entropy Projection]]