54 lines
1.8 KiB
Markdown
54 lines
1.8 KiB
Markdown
---
|
||
title: "Observed Fisher Information (观测 Fisher 信息)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["information-geometry", "fisher-information", "curvature", "statistical-inference"]
|
||
sources: ["Lehmann & Casella (2011)", "[[cubas-curvature-adaptive-sampling-2026|CuBAS]]"]
|
||
---
|
||
|
||
# Observed Fisher Information (观测 Fisher 信息)
|
||
|
||
在[[information-geometry|信息几何]]中，**Fisher 信息**的双重角色——定义度量张量和刻画曲率——由其一阶和二阶形式分别承担。
|
||
|
||
## 定义
|
||
|
||
对参数模型 p(x; θ)，θ ∈ R：
|
||
|
||
- **一阶 Fisher 信息**（度量结构）：I(θ) = E[(∂/∂θ log p)²]
|
||
- **二阶 Fisher 信息**（曲率结构）：II(θ) = -E[∂²/∂θ² log p]
|
||
|
||
## 在 Potts MRF 中的观测形式
|
||
|
||
由于期望不可解，[[cubas-curvature-adaptive-sampling-2026|CuBAS]] 采用经验近似（大数定律）：
|
||
|
||
```
|
||
Φ_i(β) = [∂/∂β log p(x_i | η_i, β̂)]²
|
||
Ψ_i(β) = -∂²/∂β² log p(x_i | η_i, β̂)
|
||
```
|
||
|
||
计算得到封闭形式：
|
||
|
||
```
|
||
Φ_i(β) = [U_i(x_i) - Σ_ℓ U_i(ℓ) exp(βU_i(ℓ)) / Σ_ℓ exp(βU_i(ℓ))]²
|
||
Ψ_i(β) = Var_β[U_i(·)] → 局部能量的条件方差
|
||
```
|
||
|
||
## 张量化计算
|
||
|
||
CuBAS 通过 Kronecker 积和 Hadamard 积实现矢量化：
|
||
- 定义向量 v⃗（能量差）和 w⃗（exp 权重）
|
||
- Φ_i、Ψ_i 表示为 (v⃗ ⊙ w⃗) ⊗ (v⃗ ⊙ w⃗) 和加权组合
|
||
|
||
## 与统计流形曲率的关系
|
||
|
||
在 CuBAS 中，Φ_i 和 Ψ_i 共同构成局部[[shape-operator|shape operator]]，二者的比值刻画了标签图的**统计弯曲程度**——这是 CuBAS 区分决策边界和簇内部的核心机制。
|
||
|
||
## 参考
|
||
|
||
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]]
|
||
- [[potts-markov-random-field|Potts MRF]]
|
||
- [[shape-operator|Shape Operator]]
|
||
- [[fisher-information-metric|Fisher Information Metric]]
|
||
- [[information-geometry|Information Geometry]]
|