1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Lipschitz Continuity: 利普希茨连续性 | 2026-06-25 | 2026-06-25 | concept |
|
|
Lipschitz Continuity (利普希茨连续性)
Lipschitz Continuity 是函数分析中的基本概念：函数 f 满足 Lipschitz 条件，若存在常数 L ≥ 0 使得对所有 x₁, x₂：
\|f(x_1) - f(x_2)\| \leq L \|x_1 - x_2\|
L 称为 Lipschitz 常数，衡量 f 对输入变化的敏感度上限。
在 Mapping Networks 中的角色
mapping-theorem 要求两个 Lipschitz 条件：
- 参数光滑性 (A1)：θ → f_θ(x) 是 L_θ-Lipschitz → 参数小变化不导致输出大变化
- 损失 Lipschitz (A2)：L(·, y) 是 L_ℓ-Lipschitz → 损失函数本身连续
组合条件：|L(θ₁) − L(θ₂)| ≤ L_ℓ L_θ ‖θ₁ − θ₂‖，确保参数误差在损失函数上的放大有界。
Stability Loss 的直接体现
mapping-loss 中的 Stability Loss 显式强制隐空间中的局部 Lipschitz 连续性：
L_{\text{stab}} = \mathbb{E}_\epsilon\left[\|f(z+\epsilon) - f(z)\|^2\right]
小扰动 ε ∼ N(0, σ²I) 不应导致输出大偏离。
更广泛的 ML 应用
- 对抗鲁棒性：小输入扰动 → 小输出变化
- 泛化理论：Lipschitz 常数与泛化误差界相关
- 谱归一化：约束网络的 Lipschitz 常数