20260617:目前有914 页

concepts/scaling-permutation-symmetry.md

@@ -0,0 +1,48 @@
+---
+title: "缩放与置换对称性 (Scaling & Permutation Symmetries)"
+created: 2026-06-10
+updated: 2026-06-10
+type: concept
+tags: ["neural-networks", "symmetries", "identifiability", "relu"]
+sources: ["[[relu-neuromanifolds-semi-algebraicity]]"]
+---
+
+# 缩放与置换对称性 (Scaling & Permutation Symmetries)
+
+神经网络参数化映射的两个**平凡对称性**——改变权重但不改变网络实现的函数。
+
+## 缩放对称性 (Scaling)
+
+由 ReLU 的正齐次性 ReLU(cx) = c ReLU(x)（c > 0）产生：
+
+- 将隐藏层神经元的**入边权重**乘以 c > 0
+- 将同一种经元的**出边权重**除以 c
+- 函数不变
+
+群：Sc(d) = (R+)^L，作为 GL_d 的子群（正标量矩阵）
+
+## 置换对称性 (Permutation)
+
+同一隐藏层中的神经元可以任意重排：
+
+- 交换隐藏层中两个神经元的位置
+- 同步交换它们所有的入边和出边权重
+- 函数不变
+
+群：Pr(d) = Product_i Sigma_{di}，作为 GL_d 的子群（置换矩阵）
+
+## 平凡对称性群
+
+G(d) = <Sc(d), Pr(d)> 是缩放和置换生成的子群。
+
+通过消去缩放作用：令 P = P_d / Sc(d)（权重空间除去零行，模缩放），研究 phi: P -> M_d 在剩余 Pr(d) 作用下的性质。
+
+## 隐藏对称性 vs 平凡对称性
+
+[[honest-open-subset|Honest 开子集]]的精确定义：所有对称性都是平凡的 G(d) 对称性的区域。在 honest 开集之外，存在[[hidden-symmetries-neural|隐藏对称性]]。
+
+## 参考
+- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]]
+- [[hidden-symmetries-neural|Hidden Symmetries]]
+- [[honest-open-subset|Honest Open Subset]]
+- [[parametrization-map|Parametrization Map]]