60 lines
1.6 KiB
Markdown
60 lines
1.6 KiB
Markdown
---
|
||
title: "通用逼近定理 (Universal Approximation Theorem)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [mathematics, approximation-theory, neural-networks, fundamental]
|
||
sources: [raw/papers/schmocker-weighted-uat-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 通用逼近定理 (Universal Approximation Theorem)
|
||
|
||
UAT 是神经网络理论的**基石**——证明神经网络在适当的函数空间中稠密，即可以任意精度逼近目标函数。
|
||
|
||
## 经典版本
|
||
|
||
Cybenko (1989) / Hornik (1991)：
|
||
|
||
```
|
||
单隐层 NN 在 C(K) 中稠密（紧集 K ⊂ R^n）
|
||
```
|
||
|
||
任何连续函数在紧集上可被单隐层 sigmoidal NN 任意逼近。
|
||
|
||
## 三个推广维度
|
||
|
||
[[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 同时推进三个方向：
|
||
|
||
### 1. 紧集 → 加权空间
|
||
- 不限于紧集，用权重函数 Ψ 控制全局行为
|
||
- 适用于非紧路径空间（随机过程）
|
||
|
||
### 2. 连续 → 可微
|
||
- 同时逼近**函数值和方向导数**
|
||
- 需要 [[nachbin-theorem|Nachbin 定理]]（带导数的 Stone-Weierstrass）
|
||
|
||
### 3. 有限维 → 无限维
|
||
- 输入：无限维流形（如路径空间）
|
||
- 输出：Banach 空间
|
||
- 通过 BAP（有界逼近性质）提升维度
|
||
|
||
## 证明骨架
|
||
|
||
```
|
||
标量激活 σ 满足 Tauberian 条件
|
||
↓ (Wiener/Korevaar)
|
||
σ 对线性泛函是 discriminatory
|
||
↓ (加权 Nachbin 定理)
|
||
FNN 在加权可微函数空间中稠密
|
||
↓ (BAP)
|
||
提升到无限维输入/输出
|
||
```
|
||
|
||
## 参考
|
||
|
||
- [[functional-input-neural-networks|FNN]]
|
||
- [[nachbin-theorem|Nachbin 定理]]
|
||
- [[weighted-spaces|加权空间]]
|
||
- [[weighted-uat-manifolds|论文原文]]
|