1.7 KiB
1.7 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| 隐藏对称性 (Hidden Symmetries) | 2026-06-10 | 2026-06-10 | concept |
|
|
隐藏对称性 (Hidden Symmetries in Neural Networks)
隐藏对称性是神经网络参数化映射中超出平凡scaling-permutation-symmetry的对称性——即不同的权重参数（无法通过缩放/置换互相转换）产生完全相同的函数。
为什么是问题
隐藏对称性意味着：
- 网络不可识别（identifiability 失败）
- 即使知道网络实现的函数，也无法唯一确定参数
- 损失景观中存在平坦方向（flat directions）
已知的平凡对称性
- 缩放对称性：ReLU 的正齐次性——缩放入边权重乘以 c，出边除以 c，函数不变
- 置换对称性：同一隐藏层中神经元的排列不改变函数
隐藏对称性的存在
relu-neuromanifolds-semi-algebraicity 通过研究fiber-of-parametrization来刻画隐藏对称性：
- 在 honest-open-subset上，无隐藏对称性
- 在 honest 区域外，纤维 phi^{-1}(phi(u)) 比 Pr(d) 轨道大 → 存在隐藏对称性
- 隐藏对称性对应于神经流形的奇点
与训练的关系
隐藏对称性区域（即 honest 开子集的补集）是训练中的"危险区"——梯度信息不唯一，优化可能陷入虚假临界点。