20260617:目前有914 页

papers/relu-neuromanifolds-semi-algebraicity.md

@@ -0,0 +1,72 @@
+---
+title: "ReLU 神经流形的纤维与半代数性"
+created: 2026-06-10
+updated: 2026-06-10
+type: paper
+tags: ["neuroalgebraic-geometry", "algebraic-geometry", "neural-networks", "relu", "semi-algebraic"]
+sources: ["https://arxiv.org/abs/2606.02826"]
+---
+
+# ReLU 神经流形的纤维与半代数性
+
+**Authors**: Axel Flinth, Stefano Mereta, Michele Pernice (KTH / WASP)
+**arXiv**: 2606.02826v1 [math.AG], 2026
+
+## 核心问题
+
+神经网络的训练在权重空间上进行，但优化目标（损失函数）定义在**神经流形**（[[neuromanifold|neuromanifold]]）——网络能表示的所有函数的空间。参数化映射 Phi: R^M -> M_d 的非单射性（多个权重映射到同一函数）导致：
+
+- 虚假临界点（权重空间中的临界点并非函数空间中的临界点）
+- 奇点和边界点更容易成为临界点
+
+理解神经流形的几何结构对理解训练动力学至关重要。
+
+## 三大核心贡献
+
+### 1. ReLU 神经流形不是半代数商（Theorem 1）
+
+**定理**：ReLU 网络的神经流形 M_d **不是**权重空间在半代数范畴中的商。
+
+即：不存在"好"的半代数结构使得 M_d 成为 R^M / E_Phi 的几何商。反例在浅层网络中构造。
+
+### 2. Honest 开子集与隐藏对称性（Conjecture 2）
+
+引入 **[[honest-open-subset|honest 开子集]]** 概念——参数化映射在该区域无隐藏对称性（所有对称性都是平凡缩放+置换）。
+
+三种强度：
+- **weakly honest**：Pr(d) 在区域内传递作用于纤维
+- **honest**：Pr(d) 在区域内满射到纤维
+- **strongly honest**：Pr(d) 同构于纤维
+
+**猜想**：对任意架构，最大 honest 开集是半代数的。
+
+### 3. 浅层网络的 Zariski 开性（Theorem 3）
+
+对于浅层网络（L=1），最大 honest 开集是 **Zariski 开集**——比半代数更强的结论。
+
+## 方法论
+
+- **点态半代数性**：通过逐点评价值定义无穷维空间上的半代数结构
+- **Pro-半代数结构**：将神经流形视为有限维半代数空间的范畴极限
+- **群胚视角**：用等价关系 E_Phi 的语言处理商存在性问题（Scheiderer 1989 定理）
+
+## 与已有工作的关系
+
+- [[neuroalgebraic-geometry|神经代数几何]] 对多项式激活函数已有良好理解（[MSM+25] 综述）
+- 非多项式激活（ReLU）几乎未知——本文填补此空白
+- 与 [GLR23, GM26] 独立工作，用代数几何替代多面体组合学
+- 与 [AM25] 的输出簇（output varieties）互补——后者固定有限输入集
+
+## 相关概念
+- [[neuromanifold|神经流形]]
+- [[neuroalgebraic-geometry|神经代数几何]]
+- [[semi-algebraic-set|半代数集]]
+- [[honest-open-subset|Honest 开子集]]
+- [[hidden-symmetries-neural|隐藏对称性]]
+- [[parametrization-map|参数化映射]]
+- [[scaling-permutation-symmetry|缩放与置换对称性]]
+- [[fiber-of-parametrization|参数化纤维]]
+
+## 来源
+- [arXiv](https://arxiv.org/abs/2606.02826)
+- [原始存档](raw/papers/flinth-relu-neuromanifolds-2026.md)