20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,45 @@
---
title: "Lipschitz Continuity: 利普希茨连续性"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [mathematics, functional-analysis, stability, deep-learning-theory]
sources: ["[[sen-mapping-networks]]"]
---
# Lipschitz Continuity (利普希茨连续性)
Lipschitz Continuity 是函数分析中的基本概念:函数 f 满足 Lipschitz 条件,若存在常数 L ≥ 0 使得对所有 x₁, x₂
$$\|f(x_1) - f(x_2)\| \leq L \|x_1 - x_2\|$$
L 称为 Lipschitz 常数,衡量 f 对输入变化的敏感度上限。
## 在 Mapping Networks 中的角色
[[mapping-theorem|Mapping Theorem]] 要求两个 Lipschitz 条件:
1. **参数光滑性 (A1)**:θ → f_θ(x) 是 L_θ-Lipschitz → 参数小变化不导致输出大变化
2. **损失 Lipschitz (A2)**L(·, y) 是 L_-Lipschitz → 损失函数本身连续
组合条件:|L(θ₁) L(θ₂)| ≤ L_ L_θ ‖θ₁ θ₂‖,确保参数误差在损失函数上的放大有界。
## Stability Loss 的直接体现
[[mapping-loss|Mapping Loss]] 中的 Stability Loss 显式强制隐空间中的局部 Lipschitz 连续性:
$$L_{\text{stab}} = \mathbb{E}_\epsilon\left[\|f(z+\epsilon) - f(z)\|^2\right]$$
小扰动 ε N(0, σ²I) 不应导致输出大偏离。
## 更广泛的 ML 应用
- **对抗鲁棒性**:小输入扰动 → 小输出变化
- **泛化理论**Lipschitz 常数与泛化误差界相关
- **谱归一化**:约束网络的 Lipschitz 常数
## 参考
- [[mapping-theorem]]
- [[mapping-loss]]
- [[weight-manifold-hypothesis]]