1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Observed Fisher Information (观测 Fisher 信息) | 2026-07-10 | 2026-07-10 | concept |
|
|
Observed Fisher Information (观测 Fisher 信息)
在information-geometry中，Fisher 信息的双重角色——定义度量张量和刻画曲率——由其一阶和二阶形式分别承担。
定义
对参数模型 p(x; θ)，θ ∈ R：
- 一阶 Fisher 信息（度量结构）：I(θ) = E[(∂/∂θ log p)²]
- 二阶 Fisher 信息（曲率结构）：II(θ) = -E[∂²/∂θ² log p]
在 Potts MRF 中的观测形式
由于期望不可解，cubas-curvature-adaptive-sampling-2026 采用经验近似（大数定律）：
Φ_i(β) = [∂/∂β log p(x_i | η_i, β̂)]²
Ψ_i(β) = -∂²/∂β² log p(x_i | η_i, β̂)
计算得到封闭形式：
Φ_i(β) = [U_i(x_i) - Σ_ℓ U_i(ℓ) exp(βU_i(ℓ)) / Σ_ℓ exp(βU_i(ℓ))]²
Ψ_i(β) = Var_β[U_i(·)] → 局部能量的条件方差
张量化计算
CuBAS 通过 Kronecker 积和 Hadamard 积实现矢量化：
- 定义向量 v⃗（能量差）和 w⃗（exp 权重）
- Φ_i、Ψ_i 表示为 (v⃗ ⊙ w⃗) ⊗ (v⃗ ⊙ w⃗) 和加权组合
与统计流形曲率的关系
在 CuBAS 中，Φ_i 和 Ψ_i 共同构成局部shape-operator，二者的比值刻画了标签图的统计弯曲程度——这是 CuBAS 区分决策边界和簇内部的核心机制。