1.5 KiB
1.5 KiB
title, created, type
| title | created | type |
|---|---|---|
| Ortega PhD Thesis 集成 Review | 2026-06-17 | review |
📌 基本信息
- 论文：Uncertainty Estimation and Generalization Bounds for Modern Deep Learning
- 作者：Luis A. Ortega Andrés — PhD Thesis, UAM, 2026
- 导师：Daniel Hernández-Lobato
- 领域：cs.LG / Bayesian DL / Learning Theory
- arXiv：2606.13818v1
🎯 核心贡献
方法论三件套：
- deep-variational-implicit-process — 可扩展深度隐式过程 Bayesian 推断
- variational-linearized-laplace-approximation — 变分线性化 Laplace 后验校准
- fixed-mean-gaussian-process — 冻结 DNN 均值 + GP 协方差校准
理论统一：PAC-Chernoff 界在插值区间有效 → 解释 double-descent
🔗 概念网络
Bayesian DL → Implicit Processes → DVIP
↓ ↓
Function-Space Modeling → VaLLA, FMGP ← Gaussian Process
↓
PAC-Bayesian Bounds → Generalization Bounds → Double Descent
📚 Wiki 集成
- 新增页面：12 个（1 论文 + 10 概念 + 1 raw）
- 总规模：902 → 913 页（+11）
💡 关键洞察
-
PAC-Chernoff 界在插值区间有效是理论突破——传统界在 "训练误差 ≈ 0" 时退化，Ortega 的大偏差分析在此区间仍提供非平凡信息。
-
DVIP 的三赢：比 DGP 快 10 倍 + 非高斯先验 + 深度架构兼容——隐式过程的 "无密度" 被变分推断巧妙规避。