myWiki/concepts/function-space-modeling.md

title, created, updated, type, tags, sources, confidence

title	created	updated	type	tags	sources	confidence
函数空间建模 (Function-Space Modeling)	2026-06-17	2026-06-17	concept	bayesian-deep-learning gaussian-process representation-learning	raw/papers/ortega-phd-thesis-2026.md	high

函数空间建模 (Function-Space Modeling)

函数空间建模是 ortega-phd-thesis 论文的方法论统一视角——在函数空间（而非参数空间）中定义和优化分布。

参数空间 vs 函数空间

维度	参数空间	函数空间
分布定义	p(θ) 在 R^d 上	p(f) 在函数空间上
先验	对参数的先验	对函数的先验（如 GP）
不确定性	权重的后验方差	预测的校准不确定性
过参数化	多对一映射问题	自然规避

在论文中的三条应用线

1. deep-variational-implicit-process：直接在函数空间中定义深度隐式过程的先验和后验
2. variational-linearized-laplace-approximation：在 NTK 特征空间（函数空间）中构建 Laplace 后验
3. fixed-mean-gaussian-process：在函数空间中以 GP 协方差校准确定性预测

核心优势

• 表达力：函数空间比参数空间更丰富
• 校准：函数空间中分布的自然解释 = 预测不确定性
• 理论：PAC-Bayesian 界在函数空间中更自然

参考

• deep-variational-implicit-process
• implicit-processes
• bayesian-deep-learning
• ortega-phd-thesis