--- title: "Fisher-Lipschitz 假设类" created: 2026-06-23 updated: 2026-06-23 type: concept tags: ["complexity-measure", "generalization-theory", "fisher-geometry", "lipschitz-continuity"] sources: ["[[vu-fisher-width-2026]]", "https://arxiv.org/abs/2606.18306"] --- # Fisher-Lipschitz 假设类 **Fisher-Lipschitz** 是 Vu (2026) 在 [[vu-fisher-width-2026|Fisher Width]] 论文中定义的假设类光滑性条件——它是标准 Lipschitz 条件的 Fisher-几何推广。 ## 定义 一个假设类 F = {f_θ : θ ∈ Θ} 在 θ₀ 处满足 Fisher-Lipschitz 条件,若存在常数 L > 0,使得对任意 x ∈ X 和任意 θ₁, θ₂ ∈ Θ: ``` |f_{θ₁}(x) − f_{θ₂}(x)| ≤ L · ∥G(θ₀)^{1/2}(θ₁−θ₂)∥₂ ``` 其中 G(θ₀) 是 θ₀ 处的 [[fisher-information-metric|Fisher 信息度量]]。 ## 直觉 - **标准 Lipschitz**:∥θ₁−θ₂∥₂ ≤ δ ⇒ 函数值变化 ≤ Lδ(欧几里得距离) - **Fisher-Lipschitz**:∥G^{1/2}(θ₁−θ₂)∥₂ ≤ δ ⇒ 函数值变化 ≤ Lδ(Fisher 距离) 关键在于:Fisher-Lipschitz 使用 Fisher 度量对参数差异进行**重标度**——统计上显著的方向贡献更大的距离权重。 ## 与泛化界的关系 Fisher-Lipschitz 条件使得 [[vu-fisher-width-2026|Fisher Width]] 可以直接控制假设类的一致偏差: ``` E[sup_{θ∈Θ} |(1/n)Σ f_θ(x_i) − E[f_θ]|] ≲ w_G(Θ−Θ; θ₀) / √n ``` 其中 w_G 就是 [[fisher-width|Fisher width]]。这是 Fisher-几何学习理论的中心结果——Fisher width 在 Fisher-Lipschitz 条件下扮演的角色,与 [[gaussian-width|Gaussian width]] 在欧几里得 Lipschitz 条件下的角色完全对称。 ## 验证条件 论文中验证了三个常见模型在 MNIST 上满足 Fisher-Lipschitz 条件: - 二元逻辑回归 - Softmax 回归 - 岭回归 ## 参考 - [[vu-fisher-width-2026|Fisher Width 论文]] - [[fisher-width|Fisher Width]] - [[gaussian-width|Gaussian Width]] - [[empirical-fisher|Empirical Fisher]]