54 lines
1.6 KiB
Markdown
54 lines
1.6 KiB
Markdown
---
|
||
title: "Maximum Entropy Projection (最大熵投影)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["maximum-entropy", "exponential-family", "information-geometry", "moment-matching"]
|
||
sources: ["Jaynes (1957)", "Csiszar (1975)", "[[gid-sphere-2026|GID (You, 2026)]]"]
|
||
---
|
||
|
||
# Maximum Entropy Projection (最大熵投影)
|
||
|
||
GID 的核心构造——对每个特征空间 V_L，求解满足 V_L 矩约束的**最大熵密度**。
|
||
|
||
## 定义
|
||
|
||
设 V_L ⊂ L²₀(M, ν) 是均值为零的连续函数的有限维空间，φ_L: M → R^{q_L} 为其基。对矩向量 m ∈ ri(M_L)：
|
||
|
||
```
|
||
p_{L,m} = arg max_{p} -∫ p log p dν
|
||
s.t. ∫ p dν = 1, ∫ φ_L p dν = m
|
||
```
|
||
|
||
## 指数族形式
|
||
|
||
最大熵解具有标准指数族密度：
|
||
|
||
```
|
||
p_{L,m}(x) = exp{λ_L(m)ᵀ φ_L(x) - ψ_L(λ_L(m))}
|
||
```
|
||
|
||
其中 ψ_L(λ) = log ∫ exp{λᵀ φ_L(x)} dν(x) 是对数配分函数，λ_L(m) 是 ∇ψ_L(λ) = m 的解。
|
||
|
||
## 嵌套层次
|
||
|
||
```
|
||
V₀ = {0} → p₀ = ν (均匀分布)
|
||
V₁ → p₁ = vMF (1 阶球谐特征)
|
||
V₂ → p₂ = Fisher-Bingham 类型 (2 阶球谐特征)
|
||
V₃ → p₃ = 高阶指数族
|
||
...
|
||
```
|
||
|
||
每级投影是前一级的**细化**：嵌套特征空间保证 p_L 保留 p_{L-1} 的所有矩信息。
|
||
|
||
## 信息几何解释
|
||
|
||
最大熵投影等价于在信息几何意义上将 P 向指数族子流形做 **m-projection**（基于 KL 散度的信息投影）。层级 KL-gap 恒等式源于 Amari 的 Pythagorean 定理和信息几何的层次分解。
|
||
|
||
## 参考
|
||
|
||
- [[geometric-information-decomposition|GID]]
|
||
- [[entropy-deficit|Entropy Deficit]]
|
||
- [[information-gap|Information Gap]]
|