20260617:目前有914 页

concepts/hidden-symmetries-neural.md

@@ -0,0 +1,42 @@
+---
+title: "隐藏对称性 (Hidden Symmetries)"
+created: 2026-06-10
+updated: 2026-06-10
+type: concept
+tags: ["neuroalgebraic-geometry", "neural-networks", "identifiability"]
+sources: ["[[relu-neuromanifolds-semi-algebraicity]]"]
+---
+
+# 隐藏对称性 (Hidden Symmetries in Neural Networks)
+
+**隐藏对称性**是神经网络参数化映射中超出平凡[[scaling-permutation-symmetry|缩放和置换]]的对称性——即不同的权重参数（无法通过缩放/置换互相转换）产生**完全相同**的函数。
+
+## 为什么是问题
+
+隐藏对称性意味着：
+- 网络**不可识别**（identifiability 失败）
+- 即使知道网络实现的函数，也无法唯一确定参数
+- 损失景观中存在平坦方向（flat directions）
+
+## 已知的平凡对称性
+
+1. **缩放对称性**：ReLU 的正齐次性——缩放入边权重乘以 c，出边除以 c，函数不变
+2. **置换对称性**：同一隐藏层中神经元的排列不改变函数
+
+## 隐藏对称性的存在
+
+[[relu-neuromanifolds-semi-algebraicity|Flinth et al. (2026)]] 通过研究[[fiber-of-parametrization|参数化纤维]]来刻画隐藏对称性：
+
+- 在 [[honest-open-subset|honest 开子集]]上，**无隐藏对称性**
+- 在 honest 区域外，纤维 phi^{-1}(phi(u)) 比 Pr(d) 轨道大 → 存在隐藏对称性
+- 隐藏对称性对应于神经流形的**奇点**
+
+## 与训练的关系
+
+隐藏对称性区域（即 honest 开子集的补集）是训练中的"危险区"——梯度信息不唯一，优化可能陷入虚假临界点。
+
+## 参考
+- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]]
+- [[honest-open-subset|Honest Open Subset]]
+- [[scaling-permutation-symmetry|Scaling & Permutation]]
+- [[fiber-of-parametrization|Fiber]]