---
title: "缩放与置换对称性 (Scaling & Permutation Symmetries)"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["neural-networks", "symmetries", "identifiability", "relu"]
sources: ["[[relu-neuromanifolds-semi-algebraicity]]"]
---

# 缩放与置换对称性 (Scaling & Permutation Symmetries)

神经网络参数化映射的两个**平凡对称性**——改变权重但不改变网络实现的函数。

## 缩放对称性 (Scaling)

由 ReLU 的正齐次性 ReLU(cx) = c ReLU(x)（c > 0）产生：

- 将隐藏层神经元的**入边权重**乘以 c > 0
- 将同一种经元的**出边权重**除以 c
- 函数不变

群：Sc(d) = (R+)^L，作为 GL_d 的子群（正标量矩阵）

## 置换对称性 (Permutation)

同一隐藏层中的神经元可以任意重排：

- 交换隐藏层中两个神经元的位置
- 同步交换它们所有的入边和出边权重
- 函数不变

群：Pr(d) = Product_i Sigma_{di}，作为 GL_d 的子群（置换矩阵）

## 平凡对称性群

G(d) = <Sc(d), Pr(d)> 是缩放和置换生成的子群。

通过消去缩放作用：令 P = P_d / Sc(d)（权重空间除去零行，模缩放），研究 phi: P -> M_d 在剩余 Pr(d) 作用下的性质。

## 隐藏对称性 vs 平凡对称性

[[honest-open-subset|Honest 开子集]]的精确定义：所有对称性都是平凡的 G(d) 对称性的区域。在 honest 开集之外，存在[[hidden-symmetries-neural|隐藏对称性]]。

## 参考
- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]]
- [[hidden-symmetries-neural|Hidden Symmetries]]
- [[honest-open-subset|Honest Open Subset]]
- [[parametrization-map|Parametrization Map]]