56 lines
1.4 KiB
Markdown
56 lines
1.4 KiB
Markdown
---
|
||
title: "Entropy Deficit (熵赤字)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["information-geometry", "kl-divergence", "directional-statistics", "maximum-entropy"]
|
||
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
|
||
---
|
||
|
||
# Entropy Deficit (熵赤字)
|
||
|
||
在 [[geometric-information-decomposition|GID]] 中，**熵赤字** D_L(P) 是第 L 级最大熵投影与均匀分布之间的 KL 散度。
|
||
|
||
## 定义
|
||
|
||
```
|
||
D_L(P) = KL(p^P_L ν ∥ ν) = ∫ p^P_L log p^P_L dν ≥ 0
|
||
```
|
||
|
||
其中 ν 是球面上的归一化面测度（均匀分布 = p ≡ 1, h(p) = 0）。
|
||
|
||
## 有效不确定性
|
||
|
||
从熵赤字可定义**有效不确定性**：
|
||
|
||
```
|
||
U_L(P) = exp{-D_L(P)} ∈ (0, 1]
|
||
```
|
||
|
||
- U_L = 1：第 L 级特征未捕获任何非均匀信息
|
||
- U_L ≪ 1：特征解释了显著的结构
|
||
|
||
## 单调性
|
||
|
||
嵌套特征空间 → D_L(P) 单调非降：
|
||
|
||
```
|
||
0 = D₀(P) ≤ D₁(P) ≤ D₂(P) ≤ ... ≤ D_L(P)
|
||
```
|
||
|
||
每增加一级特征，投影密度至少保留前一级的所有信息——更多信息不可能减少 KL 散度。
|
||
|
||
## KL-gap 恒等式
|
||
|
||
```
|
||
D_L(P) = Σ_{ℓ=1}^L I_ℓ(P)
|
||
```
|
||
|
||
即总熵赤字 = 各级信息缺口之和。这是 Amari 信息几何中层次 KL 分解（Pythagorean 恒等式）的特例。
|
||
|
||
## 参考
|
||
|
||
- [[geometric-information-decomposition|GID]]
|
||
- [[information-gap|Information Gap]]
|
||
- [[maximum-entropy-projection|Maximum Entropy Projection]]
|