20260617:目前有914 页

concepts/neuromanifold.md

@@ -0,0 +1,41 @@
+---
+title: "神经流形 (Neuromanifold)"
+created: 2026-06-10
+updated: 2026-06-10
+type: concept
+tags: ["neuroalgebraic-geometry", "neural-networks", "algebraic-geometry"]
+sources: ["[[relu-neuromanifolds-semi-algebraicity]]"]
+---
+
+# 神经流形 (Neuromanifold)
+
+**神经流形**是神经网络能参数化的所有函数的集合。形式化地，对于参数化映射 Phi: W x X -> Y：
+
+```
+M_d := { f_w : X -> Y | w in W }
+```
+
+即所有可由网络架构 d 表示的函数的空间。
+
+## 为什么重要
+
+1. **训练 = 在 M_d 上优化**：实际训练在权重空间 W 上进行，但优化目标定义在 M_d 上
+2. **参数化非单射**：多个权重映射到同一函数 → 等价关系 E_Phi
+3. **虚假临界点**：W 中的临界点不一定是 M_d 中的临界点
+4. **奇点影响训练**：M_d 的奇点和边界点更容易成为损失函数的临界点
+
+## 多项式 vs ReLU
+
+| 激活函数 | 神经流形结构 |
+|---------|------------|
+| 多项式 | 代数簇或半代数空间 |
+| ReLU | 连续分段线性函数，**不是半代数商** ([[relu-neuromanifolds-semi-algebraicity|Flinth et al. 2026]]) |
+
+## Pro-半代数结构
+
+ReLU 神经流形可视为有限维[[semi-algebraic-set|半代数集]]的范畴极限（pro-object）——固定有限输入集得到的输出簇的极限。
+
+## 参考
+- [[relu-neuromanifolds-semi-algebraicity|On the fibers and semi-algebraicity of ReLU neuromanifolds]]
+- [[neuroalgebraic-geometry|Neuroalgebraic Geometry]]
+- [[parametrization-map|Parametrization Map]]