myWiki/concepts/gaussian-process.md

title, created, updated, type, tags, sources, confidence

title	created	updated	type	tags	sources	confidence
高斯过程 (Gaussian Process)	2026-06-17	2026-06-17	concept	bayesian stochastic-processes kernel-methods gaussian	raw/papers/ortega-phd-thesis-2026.md	high

高斯过程 (Gaussian Process)

GP 是 Bayesian 机器学习的核心非参数模型——直接在函数空间上定义高斯分布先验。

定义

f ~ GP(m(x), k(x, x'))

• m(x) = E[f(x)]：均值函数
• k(x, x') = Cov(f(x), f(x'))：协方差/核函数

有限点集上：f(X) ~ N(m(X), K(X,X))

关键性质

• 非参数：模型容量随数据增长（无固定参数数量）
• 解析后验：观察到 (X,y) 后，f(x*) 的后验有封闭解
• 校准不确定性：预测方差 = 后验方差，天然校准
• 核函数决定一切：光滑性、周期性等由核编码

在深度学习中的应用

• deep-gaussian-process：层次化 GP 组合
• fixed-mean-gaussian-process：冻结 DNN 均值 + GP 协方差
• NTK 极限：无限宽 NN ~ GP（neural-tangent-kernel）
• 校准：GP 后验提供原则性不确定性

参考

• deep-gaussian-process
• fixed-mean-gaussian-process
• neural-tangent-kernel
• ortega-phd-thesis