54 lines
2.0 KiB
Markdown
54 lines
2.0 KiB
Markdown
---
|
||
title: "Fisher-Lipschitz 假设类"
|
||
created: 2026-06-23
|
||
updated: 2026-06-23
|
||
type: concept
|
||
tags: ["complexity-measure", "generalization-theory", "fisher-geometry", "lipschitz-continuity"]
|
||
sources: ["[[vu-fisher-width-2026]]", "https://arxiv.org/abs/2606.18306"]
|
||
---
|
||
|
||
# Fisher-Lipschitz 假设类
|
||
|
||
**Fisher-Lipschitz** 是 Vu (2026) 在 [[vu-fisher-width-2026|Fisher Width]] 论文中定义的假设类光滑性条件——它是标准 Lipschitz 条件的 Fisher-几何推广。
|
||
|
||
## 定义
|
||
|
||
一个假设类 F = {f_θ : θ ∈ Θ} 在 θ₀ 处满足 Fisher-Lipschitz 条件，若存在常数 L > 0，使得对任意 x ∈ X 和任意 θ₁, θ₂ ∈ Θ：
|
||
|
||
```
|
||
|f_{θ₁}(x) − f_{θ₂}(x)| ≤ L · ∥G(θ₀)^{1/2}(θ₁−θ₂)∥₂
|
||
```
|
||
|
||
其中 G(θ₀) 是 θ₀ 处的 [[fisher-information-metric|Fisher 信息度量]]。
|
||
|
||
## 直觉
|
||
|
||
- **标准 Lipschitz**：∥θ₁−θ₂∥₂ ≤ δ ⇒ 函数值变化 ≤ Lδ（欧几里得距离）
|
||
- **Fisher-Lipschitz**：∥G^{1/2}(θ₁−θ₂)∥₂ ≤ δ ⇒ 函数值变化 ≤ Lδ（Fisher 距离）
|
||
|
||
关键在于：Fisher-Lipschitz 使用 Fisher 度量对参数差异进行**重标度**——统计上显著的方向贡献更大的距离权重。
|
||
|
||
## 与泛化界的关系
|
||
|
||
Fisher-Lipschitz 条件使得 [[vu-fisher-width-2026|Fisher Width]] 可以直接控制假设类的一致偏差：
|
||
|
||
```
|
||
E[sup_{θ∈Θ} |(1/n)Σ f_θ(x_i) − E[f_θ]|] ≲ w_G(Θ−Θ; θ₀) / √n
|
||
```
|
||
|
||
其中 w_G 就是 [[fisher-width|Fisher width]]。这是 Fisher-几何学习理论的中心结果——Fisher width 在 Fisher-Lipschitz 条件下扮演的角色，与 [[gaussian-width|Gaussian width]] 在欧几里得 Lipschitz 条件下的角色完全对称。
|
||
|
||
## 验证条件
|
||
|
||
论文中验证了三个常见模型在 MNIST 上满足 Fisher-Lipschitz 条件：
|
||
- 二元逻辑回归
|
||
- Softmax 回归
|
||
- 岭回归
|
||
|
||
## 参考
|
||
|
||
- [[vu-fisher-width-2026|Fisher Width 论文]]
|
||
- [[fisher-width|Fisher Width]]
|
||
- [[gaussian-width|Gaussian Width]]
|
||
- [[empirical-fisher|Empirical Fisher]]
|