1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Entropy Deficit (熵赤字) | 2026-07-10 | 2026-07-10 | concept |
|
|
Entropy Deficit (熵赤字)
在 geometric-information-decomposition 中，熵赤字 D_L(P) 是第 L 级最大熵投影与均匀分布之间的 KL 散度。
定义
D_L(P) = KL(p^P_L ν ∥ ν) = ∫ p^P_L log p^P_L dν ≥ 0
其中 ν 是球面上的归一化面测度（均匀分布 = p ≡ 1, h(p) = 0）。
有效不确定性
从熵赤字可定义有效不确定性：
U_L(P) = exp{-D_L(P)} ∈ (0, 1]
- U_L = 1：第 L 级特征未捕获任何非均匀信息
- U_L ≪ 1：特征解释了显著的结构
单调性
嵌套特征空间 → D_L(P) 单调非降：
0 = D₀(P) ≤ D₁(P) ≤ D₂(P) ≤ ... ≤ D_L(P)
每增加一级特征，投影密度至少保留前一级的所有信息——更多信息不可能减少 KL 散度。
KL-gap 恒等式
D_L(P) = Σ_{ℓ=1}^L I_ℓ(P)
即总熵赤字 = 各级信息缺口之和。这是 Amari 信息几何中层次 KL 分解（Pythagorean 恒等式）的特例。