---
title: "Maximum Entropy Projection (最大熵投影)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["maximum-entropy", "exponential-family", "information-geometry", "moment-matching"]
sources: ["Jaynes (1957)", "Csiszar (1975)", "[[gid-sphere-2026|GID (You, 2026)]]"]
---

# Maximum Entropy Projection (最大熵投影)

GID 的核心构造——对每个特征空间 V_L，求解满足 V_L 矩约束的**最大熵密度**。

## 定义

设 V_L ⊂ L²₀(M, ν) 是均值为零的连续函数的有限维空间，φ_L: M → R^{q_L} 为其基。对矩向量 m ∈ ri(M_L)：

```
p_{L,m} = arg max_{p} -∫ p log p dν
          s.t. ∫ p dν = 1, ∫ φ_L p dν = m
```

## 指数族形式

最大熵解具有标准指数族密度：

```
p_{L,m}(x) = exp{λ_L(m)ᵀ φ_L(x) - ψ_L(λ_L(m))}
```

其中 ψ_L(λ) = log ∫ exp{λᵀ φ_L(x)} dν(x) 是对数配分函数，λ_L(m) 是 ∇ψ_L(λ) = m 的解。

## 嵌套层次

```
V₀ = {0}  →  p₀ = ν (均匀分布)
V₁        →  p₁ = vMF (1 阶球谐特征)
V₂        →  p₂ = Fisher-Bingham 类型 (2 阶球谐特征)
V₃        →  p₃ = 高阶指数族
...
```

每级投影是前一级的**细化**：嵌套特征空间保证 p_L 保留 p_{L-1} 的所有矩信息。

## 信息几何解释

最大熵投影等价于在信息几何意义上将 P 向指数族子流形做 **m-projection**（基于 KL 散度的信息投影）。层级 KL-gap 恒等式源于 Amari 的 Pythagorean 定理和信息几何的层次分解。

## 参考

- [[geometric-information-decomposition|GID]]
- [[entropy-deficit|Entropy Deficit]]
- [[information-gap|Information Gap]]