20260706:新增一些文章
This commit is contained in:
45
concepts/lipschitz-continuity.md
Normal file
45
concepts/lipschitz-continuity.md
Normal file
@@ -0,0 +1,45 @@
|
||||
---
|
||||
title: "Lipschitz Continuity: 利普希茨连续性"
|
||||
created: 2026-06-25
|
||||
updated: 2026-06-25
|
||||
type: concept
|
||||
tags: [mathematics, functional-analysis, stability, deep-learning-theory]
|
||||
sources: ["[[sen-mapping-networks]]"]
|
||||
---
|
||||
|
||||
# Lipschitz Continuity (利普希茨连续性)
|
||||
|
||||
Lipschitz Continuity 是函数分析中的基本概念:函数 f 满足 Lipschitz 条件,若存在常数 L ≥ 0 使得对所有 x₁, x₂:
|
||||
|
||||
$$\|f(x_1) - f(x_2)\| \leq L \|x_1 - x_2\|$$
|
||||
|
||||
L 称为 Lipschitz 常数,衡量 f 对输入变化的敏感度上限。
|
||||
|
||||
## 在 Mapping Networks 中的角色
|
||||
|
||||
[[mapping-theorem|Mapping Theorem]] 要求两个 Lipschitz 条件:
|
||||
|
||||
1. **参数光滑性 (A1)**:θ → f_θ(x) 是 L_θ-Lipschitz → 参数小变化不导致输出大变化
|
||||
2. **损失 Lipschitz (A2)**:L(·, y) 是 L_ℓ-Lipschitz → 损失函数本身连续
|
||||
|
||||
组合条件:|L(θ₁) − L(θ₂)| ≤ L_ℓ L_θ ‖θ₁ − θ₂‖,确保参数误差在损失函数上的放大有界。
|
||||
|
||||
## Stability Loss 的直接体现
|
||||
|
||||
[[mapping-loss|Mapping Loss]] 中的 Stability Loss 显式强制隐空间中的局部 Lipschitz 连续性:
|
||||
|
||||
$$L_{\text{stab}} = \mathbb{E}_\epsilon\left[\|f(z+\epsilon) - f(z)\|^2\right]$$
|
||||
|
||||
小扰动 ε ∼ N(0, σ²I) 不应导致输出大偏离。
|
||||
|
||||
## 更广泛的 ML 应用
|
||||
|
||||
- **对抗鲁棒性**:小输入扰动 → 小输出变化
|
||||
- **泛化理论**:Lipschitz 常数与泛化误差界相关
|
||||
- **谱归一化**:约束网络的 Lipschitz 常数
|
||||
|
||||
## 参考
|
||||
|
||||
- [[mapping-theorem]]
|
||||
- [[mapping-loss]]
|
||||
- [[weight-manifold-hypothesis]]
|
||||
Reference in New Issue
Block a user