myWiki/concepts/generalization-bounds.md

title, created, updated, type, tags, sources, confidence

title	created	updated	type	tags	sources	confidence
泛化界 (Generalization Bounds)	2026-06-17	2026-06-17	concept	theory generalization learning-theory	raw/papers/ortega-phd-thesis-2026.md	high

泛化界 (Generalization Bounds)

泛化界是学习理论的中心问题——量化模型在训练数据外的预期性能。[ortega-phd-thesis|Ortega (2026)] 通过 pac-bayesian-bounds 和大偏差理论提供了统一的泛化界框架。

基本形式

L_test ≤ L_train + complexity_penalty(n, P, δ)

其中 complexity_penalty 取决于：

• 样本量 n
• 假设空间复杂度（先验 P）
• 置信度 δ

经典界的困境

传统界（VC 维、Rademacher 复杂度）在深度学习中失效：

• 过参数化模型 VC 维 ≈ ∞ → 界退化为平凡
• 插值区间（L_train = 0）界无意义

论文中的突破：PAC-Chernoff 界

Ortega 的 PAC-Chernoff 界：

• 基于大偏差理论（非渐进）
• 在插值区间仍提供非平凡界
• 分布依赖（不假设 i.i.d.）
• 对 double-descent 提供定量解释

三种泛化机制的统一

机制	在界中的体现
多样性	降低方差项
光滑性	放大率函数（集中更强）
随机性	SGD 噪声 → 隐式 KL 正则化

参考

• pac-bayesian-bounds
• double-descent
• ortega-phd-thesis