20260617:目前有914 页

concepts/generalization-bounds.md

@@ -0,0 +1,53 @@
+---
+title: "泛化界 (Generalization Bounds)"
+created: 2026-06-17
+updated: 2026-06-17
+type: concept
+tags: [theory, generalization, learning-theory]
+sources: [raw/papers/ortega-phd-thesis-2026.md]
+confidence: high
+---
+
+# 泛化界 (Generalization Bounds)
+
+泛化界是学习理论的中心问题——**量化模型在训练数据外的预期性能**。[ortega-phd-thesis|Ortega (2026)] 通过 [[pac-bayesian-bounds|PAC-Bayesian]] 和大偏差理论提供了统一的泛化界框架。
+
+## 基本形式
+
+```
+L_test ≤ L_train + complexity_penalty(n, P, δ)
+```
+
+其中 complexity_penalty 取决于：
+- 样本量 n
+- 假设空间复杂度（先验 P）
+- 置信度 δ
+
+## 经典界的困境
+
+传统界（VC 维、Rademacher 复杂度）在深度学习中**失效**：
+- 过参数化模型 VC 维 ≈ ∞ → 界退化为平凡
+- 插值区间（L_train = 0）界无意义
+
+## 论文中的突破：PAC-Chernoff 界
+
+Ortega 的 PAC-Chernoff 界：
+
+- 基于**大偏差理论**（非渐进）
+- 在插值区间仍提供非平凡界
+- 分布依赖（不假设 i.i.d.）
+- 对 [[double-descent|双下降]] 提供定量解释
+
+## 三种泛化机制的统一
+
+| 机制 | 在界中的体现 |
+|------|------------|
+| 多样性 | 降低方差项 |
+| 光滑性 | 放大率函数（集中更强） |
+| 随机性 | SGD 噪声 → 隐式 KL 正则化 |
+
+## 参考
+
+- [[pac-bayesian-bounds|PAC-Bayesian 界]]
+- [[double-descent|双下降]]
+- [[ortega-phd-thesis|论文]]