---
title: "Entropy Deficit (熵赤字)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["information-geometry", "kl-divergence", "directional-statistics", "maximum-entropy"]
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
---

# Entropy Deficit (熵赤字)

在 [[geometric-information-decomposition|GID]] 中，**熵赤字** D_L(P) 是第 L 级最大熵投影与均匀分布之间的 KL 散度。

## 定义

```
D_L(P) = KL(p^P_L ν ∥ ν) = ∫ p^P_L log p^P_L dν ≥ 0
```

其中 ν 是球面上的归一化面测度（均匀分布 = p ≡ 1, h(p) = 0）。

## 有效不确定性

从熵赤字可定义**有效不确定性**：

```
U_L(P) = exp{-D_L(P)} ∈ (0, 1]
```

- U_L = 1：第 L 级特征未捕获任何非均匀信息
- U_L ≪ 1：特征解释了显著的结构

## 单调性

嵌套特征空间 → D_L(P) 单调非降：

```
0 = D₀(P) ≤ D₁(P) ≤ D₂(P) ≤ ... ≤ D_L(P)
```

每增加一级特征，投影密度至少保留前一级的所有信息——更多信息不可能减少 KL 散度。

## KL-gap 恒等式

```
D_L(P) = Σ_{ℓ=1}^L I_ℓ(P)
```

即总熵赤字 = 各级信息缺口之和。这是 Amari 信息几何中层次 KL 分解（Pythagorean 恒等式）的特例。

## 参考

- [[geometric-information-decomposition|GID]]
- [[information-gap|Information Gap]]
- [[maximum-entropy-projection|Maximum Entropy Projection]]