20260617:目前有914 页

concepts/universal-approximation-theorem.md

@@ -0,0 +1,59 @@
+---
+title: "通用逼近定理 (Universal Approximation Theorem)"
+created: 2026-06-17
+updated: 2026-06-17
+type: concept
+tags: [mathematics, approximation-theory, neural-networks, fundamental]
+sources: [raw/papers/schmocker-weighted-uat-2026.md]
+confidence: high
+---
+
+# 通用逼近定理 (Universal Approximation Theorem)
+
+UAT 是神经网络理论的**基石**——证明神经网络在适当的函数空间中稠密，即可以任意精度逼近目标函数。
+
+## 经典版本
+
+Cybenko (1989) / Hornik (1991)：
+
+```
+单隐层 NN 在 C(K) 中稠密（紧集 K ⊂ R^n）
+```
+
+任何连续函数在紧集上可被单隐层 sigmoidal NN 任意逼近。
+
+## 三个推广维度
+
+[[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 同时推进三个方向：
+
+### 1. 紧集 → 加权空间
+- 不限于紧集，用权重函数 Ψ 控制全局行为
+- 适用于非紧路径空间（随机过程）
+
+### 2. 连续 → 可微
+- 同时逼近**函数值和方向导数**
+- 需要 [[nachbin-theorem|Nachbin 定理]]（带导数的 Stone-Weierstrass）
+
+### 3. 有限维 → 无限维
+- 输入：无限维流形（如路径空间）
+- 输出：Banach 空间
+- 通过 BAP（有界逼近性质）提升维度
+
+## 证明骨架
+
+```
+标量激活 σ 满足 Tauberian 条件
+    ↓ (Wiener/Korevaar)
+σ 对线性泛函是 discriminatory
+    ↓ (加权 Nachbin 定理)
+FNN 在加权可微函数空间中稠密
+    ↓ (BAP)
+提升到无限维输入/输出
+```
+
+## 参考
+
+- [[functional-input-neural-networks|FNN]]
+- [[nachbin-theorem|Nachbin 定理]]
+- [[weighted-spaces|加权空间]]
+- [[weighted-uat-manifolds|论文原文]]