42 lines
1.5 KiB
Markdown
42 lines
1.5 KiB
Markdown
---
|
||
title: "神经流形 (Neuromanifold)"
|
||
created: 2026-06-10
|
||
updated: 2026-06-10
|
||
type: concept
|
||
tags: ["neuroalgebraic-geometry", "neural-networks", "algebraic-geometry"]
|
||
sources: ["[[relu-neuromanifolds-semi-algebraicity]]"]
|
||
---
|
||
|
||
# 神经流形 (Neuromanifold)
|
||
|
||
**神经流形**是神经网络能参数化的所有函数的集合。形式化地，对于参数化映射 Phi: W x X -> Y：
|
||
|
||
```
|
||
M_d := { f_w : X -> Y | w in W }
|
||
```
|
||
|
||
即所有可由网络架构 d 表示的函数的空间。
|
||
|
||
## 为什么重要
|
||
|
||
1. **训练 = 在 M_d 上优化**：实际训练在权重空间 W 上进行，但优化目标定义在 M_d 上
|
||
2. **参数化非单射**：多个权重映射到同一函数 → 等价关系 E_Phi
|
||
3. **虚假临界点**：W 中的临界点不一定是 M_d 中的临界点
|
||
4. **奇点影响训练**：M_d 的奇点和边界点更容易成为损失函数的临界点
|
||
|
||
## 多项式 vs ReLU
|
||
|
||
| 激活函数 | 神经流形结构 |
|
||
|---------|------------|
|
||
| 多项式 | 代数簇或半代数空间 |
|
||
| ReLU | 连续分段线性函数，**不是半代数商** ([[relu-neuromanifolds-semi-algebraicity|Flinth et al. 2026]]) |
|
||
|
||
## Pro-半代数结构
|
||
|
||
ReLU 神经流形可视为有限维[[semi-algebraic-set|半代数集]]的范畴极限（pro-object）——固定有限输入集得到的输出簇的极限。
|
||
|
||
## 参考
|
||
- [[relu-neuromanifolds-semi-algebraicity|On the fibers and semi-algebraicity of ReLU neuromanifolds]]
|
||
- [[neuroalgebraic-geometry|Neuroalgebraic Geometry]]
|
||
- [[parametrization-map|Parametrization Map]]
|