Maximum Entropy Projection (最大熵投影)

GID 的核心构造——对每个特征空间 V_L，求解满足 V_L 矩约束的最大熵密度。

定义

设 V_L ⊂ L²₀(M, ν) 是均值为零的连续函数的有限维空间，φ_L: M → R^{q_L} 为其基。对矩向量 m ∈ ri(M_L)：

p_{L,m} = arg max_{p} -∫ p log p dν
          s.t. ∫ p dν = 1, ∫ φ_L p dν = m

最大熵解具有标准指数族密度：

p_{L,m}(x) = exp{λ_L(m)ᵀ φ_L(x) - ψ_L(λ_L(m))}

其中 ψ_L(λ) = log ∫ exp{λᵀ φ_L(x)} dν(x) 是对数配分函数，λ_L(m) 是 ∇ψ_L(λ) = m 的解。

V₀ = {0}  →  p₀ = ν (均匀分布)
V₁        →  p₁ = vMF (1 阶球谐特征)
V₂        →  p₂ = Fisher-Bingham 类型 (2 阶球谐特征)
V₃        →  p₃ = 高阶指数族
...

每级投影是前一级的细化：嵌套特征空间保证 p_L 保留 p_{L-1} 的所有矩信息。

最大熵投影等价于在信息几何意义上将 P 向指数族子流形做 m-projection（基于 KL 散度的信息投影）。层级 KL-gap 恒等式源于 Amari 的 Pythagorean 定理和信息几何的层次分解。