2.0 KiB
2.0 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Fisher-Lipschitz 假设类 | 2026-06-23 | 2026-06-23 | concept |
|
|
Fisher-Lipschitz 假设类
Fisher-Lipschitz 是 Vu (2026) 在 vu-fisher-width-2026 论文中定义的假设类光滑性条件——它是标准 Lipschitz 条件的 Fisher-几何推广。
定义
一个假设类 F = {f_θ : θ ∈ Θ} 在 θ₀ 处满足 Fisher-Lipschitz 条件，若存在常数 L > 0，使得对任意 x ∈ X 和任意 θ₁, θ₂ ∈ Θ：
|f_{θ₁}(x) − f_{θ₂}(x)| ≤ L · ∥G(θ₀)^{1/2}(θ₁−θ₂)∥₂
其中 G(θ₀) 是 θ₀ 处的 fisher-information-metric。
直觉
- 标准 Lipschitz：∥θ₁−θ₂∥₂ ≤ δ ⇒ 函数值变化 ≤ Lδ（欧几里得距离）
- Fisher-Lipschitz：∥G^{1/2}(θ₁−θ₂)∥₂ ≤ δ ⇒ 函数值变化 ≤ Lδ（Fisher 距离）
关键在于：Fisher-Lipschitz 使用 Fisher 度量对参数差异进行重标度——统计上显著的方向贡献更大的距离权重。
与泛化界的关系
Fisher-Lipschitz 条件使得 vu-fisher-width-2026 可以直接控制假设类的一致偏差：
E[sup_{θ∈Θ} |(1/n)Σ f_θ(x_i) − E[f_θ]|] ≲ w_G(Θ−Θ; θ₀) / √n
其中 w_G 就是 fisher-width。这是 Fisher-几何学习理论的中心结果——Fisher width 在 Fisher-Lipschitz 条件下扮演的角色，与 gaussian-width 在欧几里得 Lipschitz 条件下的角色完全对称。
验证条件
论文中验证了三个常见模型在 MNIST 上满足 Fisher-Lipschitz 条件：
- 二元逻辑回归
- Softmax 回归
- 岭回归