46 lines
1.5 KiB
Markdown
46 lines
1.5 KiB
Markdown
---
|
||
title: "Lipschitz Continuity: 利普希茨连续性"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [mathematics, functional-analysis, stability, deep-learning-theory]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Lipschitz Continuity (利普希茨连续性)
|
||
|
||
Lipschitz Continuity 是函数分析中的基本概念：函数 f 满足 Lipschitz 条件，若存在常数 L ≥ 0 使得对所有 x₁, x₂：
|
||
|
||
$$\|f(x_1) - f(x_2)\| \leq L \|x_1 - x_2\|$$
|
||
|
||
L 称为 Lipschitz 常数，衡量 f 对输入变化的敏感度上限。
|
||
|
||
## 在 Mapping Networks 中的角色
|
||
|
||
[[mapping-theorem|Mapping Theorem]] 要求两个 Lipschitz 条件：
|
||
|
||
1. **参数光滑性 (A1)**：θ → f_θ(x) 是 L_θ-Lipschitz → 参数小变化不导致输出大变化
|
||
2. **损失 Lipschitz (A2)**：L(·, y) 是 L_ℓ-Lipschitz → 损失函数本身连续
|
||
|
||
组合条件：|L(θ₁) − L(θ₂)| ≤ L_ℓ L_θ ‖θ₁ − θ₂‖，确保参数误差在损失函数上的放大有界。
|
||
|
||
## Stability Loss 的直接体现
|
||
|
||
[[mapping-loss|Mapping Loss]] 中的 Stability Loss 显式强制隐空间中的局部 Lipschitz 连续性：
|
||
|
||
$$L_{\text{stab}} = \mathbb{E}_\epsilon\left[\|f(z+\epsilon) - f(z)\|^2\right]$$
|
||
|
||
小扰动 ε ∼ N(0, σ²I) 不应导致输出大偏离。
|
||
|
||
## 更广泛的 ML 应用
|
||
|
||
- **对抗鲁棒性**：小输入扰动 → 小输出变化
|
||
- **泛化理论**：Lipschitz 常数与泛化误差界相关
|
||
- **谱归一化**：约束网络的 Lipschitz 常数
|
||
|
||
## 参考
|
||
|
||
- [[mapping-theorem]]
|
||
- [[mapping-loss]]
|
||
- [[weight-manifold-hypothesis]]
|