20260720

concepts/maximum-entropy-projection.md

@@ -0,0 +1,53 @@
+---
+title: "Maximum Entropy Projection (最大熵投影)"
+created: 2026-07-10
+updated: 2026-07-10
+type: concept
+tags: ["maximum-entropy", "exponential-family", "information-geometry", "moment-matching"]
+sources: ["Jaynes (1957)", "Csiszar (1975)", "[[gid-sphere-2026|GID (You, 2026)]]"]
+---
+
+# Maximum Entropy Projection (最大熵投影)
+
+GID 的核心构造——对每个特征空间 V_L，求解满足 V_L 矩约束的**最大熵密度**。
+
+## 定义
+
+设 V_L ⊂ L²₀(M, ν) 是均值为零的连续函数的有限维空间，φ_L: M → R^{q_L} 为其基。对矩向量 m ∈ ri(M_L)：
+
+```
+p_{L,m} = arg max_{p} -∫ p log p dν
+          s.t. ∫ p dν = 1, ∫ φ_L p dν = m
+```
+
+## 指数族形式
+
+最大熵解具有标准指数族密度：
+
+```
+p_{L,m}(x) = exp{λ_L(m)ᵀ φ_L(x) - ψ_L(λ_L(m))}
+```
+
+其中 ψ_L(λ) = log ∫ exp{λᵀ φ_L(x)} dν(x) 是对数配分函数，λ_L(m) 是 ∇ψ_L(λ) = m 的解。
+
+## 嵌套层次
+
+```
+V₀ = {0}  →  p₀ = ν (均匀分布)
+V₁        →  p₁ = vMF (1 阶球谐特征)
+V₂        →  p₂ = Fisher-Bingham 类型 (2 阶球谐特征)
+V₃        →  p₃ = 高阶指数族
+...
+```
+
+每级投影是前一级的**细化**：嵌套特征空间保证 p_L 保留 p_{L-1} 的所有矩信息。
+
+## 信息几何解释
+
+最大熵投影等价于在信息几何意义上将 P 向指数族子流形做 **m-projection**（基于 KL 散度的信息投影）。层级 KL-gap 恒等式源于 Amari 的 Pythagorean 定理和信息几何的层次分解。
+
+## 参考
+
+- [[geometric-information-decomposition|GID]]
+- [[entropy-deficit|Entropy Deficit]]
+- [[information-gap|Information Gap]]