1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 缩放与置换对称性 (Scaling & Permutation Symmetries) | 2026-06-10 | 2026-06-10 | concept |
|
|
缩放与置换对称性 (Scaling & Permutation Symmetries)
神经网络参数化映射的两个平凡对称性——改变权重但不改变网络实现的函数。
缩放对称性 (Scaling)
由 ReLU 的正齐次性 ReLU(cx) = c ReLU(x)（c > 0）产生：
- 将隐藏层神经元的入边权重乘以 c > 0
- 将同一种经元的出边权重除以 c
- 函数不变
群：Sc(d) = (R+)^L，作为 GL_d 的子群（正标量矩阵）
置换对称性 (Permutation)
同一隐藏层中的神经元可以任意重排：
- 交换隐藏层中两个神经元的位置
- 同步交换它们所有的入边和出边权重
- 函数不变
群：Pr(d) = Product_i Sigma_{di}，作为 GL_d 的子群（置换矩阵）
平凡对称性群
G(d) = <Sc(d), Pr(d)> 是缩放和置换生成的子群。
通过消去缩放作用：令 P = P_d / Sc(d)（权重空间除去零行，模缩放），研究 phi: P -> M_d 在剩余 Pr(d) 作用下的性质。
隐藏对称性 vs 平凡对称性
honest-open-subset的精确定义：所有对称性都是平凡的 G(d) 对称性的区域。在 honest 开集之外，存在hidden-symmetries-neural。