myWiki/concepts/deep-gaussian-process.md

title, created, updated, type, tags, sources, confidence

title	created	updated	type	tags	sources	confidence
深度高斯过程 (Deep Gaussian Process)	2026-06-17	2026-06-17	concept	bayesian-deep-learning gaussian-process hierarchical-models	raw/papers/ortega-phd-thesis-2026.md	high

深度高斯过程 (Deep Gaussian Process)

深度高斯过程 (DGP) 将 GP 推广为层次化组合——每一层的输出作为下一层的输入，表达力远超单层 GP。[ortega-phd-thesis|Ortega (2026)] 提出的 deep-variational-implicit-process 是 DGP 的高效替代方案。

定义

f_L ∘ f_{L-1} ∘ ... ∘ f_1(x),    f_l ~ GP(m_l, k_l)

每一层 f_l 本身是一个高斯过程。

优势 vs 浅层 GP

维度	浅层 GP	DGP
表达能力	核函数决定	层次化组合
非平稳性	需特殊设计	自然涌现
多尺度	单尺度	每层捕获不同尺度

计算挑战

DGP 的推断代价高：

• 隐层无观测 → 需要近似推断
• 变分推断需大量 inducing points
• 计算复杂度 O(NM^2) 量级

DVIP 作为替代

DVIP 用 implicit-processes 替代 GP：

• 保留 DGP 的层次结构
• 降低约 10 倍计算代价
• 允许非高斯先验

参考

• deep-variational-implicit-process
• implicit-processes
• function-space-modeling
• ortega-phd-thesis