2.4 KiB
2.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Fisher Width (Fisher 宽度) | 2026-06-23 | 2026-06-23 | concept |
|
|
Fisher Width (Fisher 宽度)
Fisher width 是 gaussian-width 在statistical-manifold上的 Fisher-几何对应物。
定义
设 θ₀ ∈ Θ 为参数点，G(θ₀) 为 fisher-information-metric，T ⊂ ℝᵈ 为紧集。Fisher width 定义为：
w_G(T; θ₀) = E_{g∼N(0,I_d)} [sup_{v∈T} ⟨g, G(θ₀)^{1/2} v⟩]
核心操作：用 G(θ₀)^{1/2} 对方向进行 Fisher 重标度——统计上敏感的方向贡献更大的宽度权重。
与 Gaussian Width 的关系
通过 lifting-identity：
w_G(T; θ₀) = w(G(θ₀)^{1/2} T)
Fisher width 恰好是 Fisher 重标度后集合的 Gaussian width。
谱比较界：
λ_min(G)^{1/2} · w(T) ≤ w_G(T) ≤ λ_max(G)^{1/2} · w(T)
当 G(θ₀) = I_d 时，Fisher width 退化为经典 Gaussian width。
关键性质
- 再参数化不变性：在平滑坐标变换下 Fisher width 不变
- 局部性：依赖基点 θ₀，随参数位置在统计流形上变化
- 继承性：通过 Lifting Identity 继承 Gaussian width 的所有结构性质（单调性、齐次性、凸包不变、次可加性）
- 浓度：满足与 Gaussian width 类似的浓度不等式
- 扰动稳定性：对局部 Fisher 度量的扰动具有 Lipschitz 连续性
在泛化理论中的应用
对 fisher-lipschitz 假设类，Fisher width 控制一致偏差：
E[sup_θ |Ê[f_θ] − E[f_θ]|] ≲ w_G(Θ−Θ; θ₀) / √n
这是 Gaussian width 在学习理论中角色的 Fisher-几何对应。
计算
empirical-fisher 使得 Fisher width 可以在实践中估计，包括全经验 Fisher 估计器、低秩近似（利用 Fisher 谱快速衰减）、以及针对特定集合的特化估计。