72 lines
2.4 KiB
Markdown
72 lines
2.4 KiB
Markdown
---
|
||
title: "Fisher Width (Fisher 宽度)"
|
||
created: 2026-06-23
|
||
updated: 2026-06-23
|
||
type: concept
|
||
tags: ["information-geometry", "complexity-measure", "high-dimensional-probability", "riemannian-geometry"]
|
||
sources: ["[[vu-fisher-width-2026]]", "https://arxiv.org/abs/2606.18306"]
|
||
---
|
||
|
||
# Fisher Width (Fisher 宽度)
|
||
|
||
**Fisher width** 是 [[gaussian-width|Gaussian width]] 在[[statistical-manifold|统计流形]]上的 Fisher-几何对应物。
|
||
|
||
## 定义
|
||
|
||
设 θ₀ ∈ Θ 为参数点，G(θ₀) 为 [[fisher-information-metric|Fisher 信息矩阵]]，T ⊂ ℝᵈ 为紧集。Fisher width 定义为：
|
||
|
||
```
|
||
w_G(T; θ₀) = E_{g∼N(0,I_d)} [sup_{v∈T} ⟨g, G(θ₀)^{1/2} v⟩]
|
||
```
|
||
|
||
核心操作：用 G(θ₀)^{1/2} 对方向进行 Fisher 重标度——统计上敏感的方向贡献更大的宽度权重。
|
||
|
||
## 与 Gaussian Width 的关系
|
||
|
||
通过 [[lifting-identity|Lifting Identity]]：
|
||
|
||
```
|
||
w_G(T; θ₀) = w(G(θ₀)^{1/2} T)
|
||
```
|
||
|
||
Fisher width 恰好是 Fisher 重标度后集合的 Gaussian width。
|
||
|
||
**谱比较界**：
|
||
```
|
||
λ_min(G)^{1/2} · w(T) ≤ w_G(T) ≤ λ_max(G)^{1/2} · w(T)
|
||
```
|
||
|
||
当 G(θ₀) = I_d 时，Fisher width 退化为经典 Gaussian width。
|
||
|
||
## 关键性质
|
||
|
||
1. **再参数化不变性**：在平滑坐标变换下 Fisher width 不变
|
||
2. **局部性**：依赖基点 θ₀，随参数位置在统计流形上变化
|
||
3. **继承性**：通过 Lifting Identity 继承 Gaussian width 的所有结构性质（单调性、齐次性、凸包不变、次可加性）
|
||
4. **浓度**：满足与 Gaussian width 类似的浓度不等式
|
||
5. **扰动稳定性**：对局部 Fisher 度量的扰动具有 Lipschitz 连续性
|
||
|
||
## 在泛化理论中的应用
|
||
|
||
对 [[fisher-lipschitz|Fisher-Lipschitz]] 假设类，Fisher width 控制一致偏差：
|
||
|
||
```
|
||
E[sup_θ |Ê[f_θ] − E[f_θ]|] ≲ w_G(Θ−Θ; θ₀) / √n
|
||
```
|
||
|
||
这是 Gaussian width 在学习理论中角色的 Fisher-几何对应。
|
||
|
||
## 计算
|
||
|
||
[[empirical-fisher|Empirical Fisher]] 使得 Fisher width 可以在实践中估计，包括全经验 Fisher 估计器、低秩近似（利用 Fisher 谱快速衰减）、以及针对特定集合的特化估计。
|
||
|
||
## 参考
|
||
|
||
- [[vu-fisher-width-2026|Vu (2026) 论文]]
|
||
- [[gaussian-width|Gaussian Width]]
|
||
- [[statistical-manifold|Statistical Manifold]]
|
||
- [[fisher-information-metric|Fisher Information Metric]]
|
||
- [[lifting-identity|Lifting Identity]]
|
||
- [[fisher-lipschitz|Fisher-Lipschitz]]
|
||
- [[empirical-fisher|Empirical Fisher]]
|