myWiki/concepts/pac-bayesian-bounds.md

title, created, updated, type, tags, sources, confidence

title	created	updated	type	tags	sources	confidence
PAC-Bayesian 泛化界 (PAC-Bayesian Bounds)	2026-06-17	2026-06-17	concept	theory generalization pac-learning bayesian	raw/papers/ortega-phd-thesis-2026.md	high

PAC-Bayesian 泛化界 (PAC-Bayesian Bounds)

PAC-Bayesian 界是ortega-phd-thesis理论框架的核心工具——将泛化误差界表示为先验分布 P 与后验分布 Q 之间的 KL 散度。

标准形式

E_{Q}[L_test] ≤ E_{Q}[L_train] + sqrt( KL(Q||P) + log(n/δ) / (2n) )

• Q：学习到的后验分布（在假设空间上）
• P：先验分布（与数据无关）
• KL(Q||P)：惩罚偏离先验的程度

论文中的推广

Ortega 将 PAC-Bayesian 框架与大偏差理论结合，推导 PAC-Chernoff 界：

• 非渐进：不依赖 n→∞ 极限
• 插值区间有效：在 L_train ≈ 0 时仍提供非平凡界
• 分布依赖：不假设 i.i.d.

三个泛化机制的 PAC-Bayesian 解读

机制	PAC-Bayesian 解释
多样性	独立预测器降低后验方差
光滑性	平坦极小值 → 小 KL 惩罚
随机性	SGD 噪声 → 隐式先验

参考

• generalization-bounds
• double-descent
• amortized-variational-inference
• ortega-phd-thesis