20260720

concepts/structural-internal-directions.md

@@ -0,0 +1,52 @@
+---
+title: "Structural Internal Directions (SID, 结构内部方向)"
+created: 2026-07-10
+updated: 2026-07-10
+type: concept
+tags: ["over-parameterization", "gauge-symmetry", "smg", "differential-geometry"]
+sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
+---
+
+# Structural Internal Directions (SID)
+
+**SID**（Structural Internal Directions）是 [[statistically-meaningful-geometry|SMG]] 中垂直切子空间 Vf = ker(dπf)，包含所有不改变宏观概率分布的参数变化方向。
+
+## 形式化定义
+
+```
+Vf ≡ SID := { v ∈ Tf M | dπf(v) = 0 }
+       = { v ∈ Tf M | gf(v, s_i) = 0, ∀i = 1,...,d }
+```
+
+其中 gf 是 Fisher-Rao 度量，s_i 是 SVDχ 的基。
+
+由于 **dim(M) = ∞** 而 **dim(SVDχ) = d**，由 Rank-Nullity 定理推出 **dim(SID) = ∞**。
+
+## 物理来源
+
+SID 编码了过参数化网络中的：
+- 隐藏节点排列对称性
+- 尺度不变性（ReLU: W → αW, W' → W'/α）
+- 权重空间内的规范冗余（gauge redundancies）
+- 无穷维内部自由度（IDoF）
+
+## SMG 的创新视角
+
+传统观点将 SID 视为需要剪枝的**病理**。SMG 将其重新定义为：
+
+1. **Structural Internal Capacity**：必需的内部工作空间
+2. **Frictionless Thermodynamic Reservoir**：零一阶统计方差 → 优化器可在其中自由导航，平滑规避局部极小值而不影响输出
+3. **Absorptive Capacity**：吸收环境噪声和架构扰动
+
+## 与 Dead Direction 的对比
+
+| 概念 | 框架 | 语义 |
+|------|------|------|
+| SID | SMG (Cheng et al.) | 垂直 gauge 空间，零统计方差但**有结构功能** |
+| [[dead-direction|Dead Direction]] | SLT (Watanabe/Shirodkar) | Fisher 退化方向，编码神经网络奇异性 |
+
+## 参考
+
+- [[statistically-meaningful-geometry|SMG]]
+- [[statistically-verifiable-directions|SVDχ]]
+- [[dead-direction|Dead Direction]]