20260617:目前有914 页

concepts/superposition.md

@@ -0,0 +1,48 @@
+---
+title: "叠加 (Superposition)"
+created: 2026-06-17
+updated: 2026-06-17
+type: concept
+tags: [interpretability, representation-learning, theory]
+sources: [raw/papers/zhang-geometric-sae-2026.md]
+confidence: high
+---
+
+# 叠加 (Superposition)
+
+叠加（superposition）是神经网络中**可表示概念数 > 可用神经元数**时出现的压缩表征现象——多个概念被编码在同一方向的"折叠空间"中。
+
+## 核心矛盾
+
+模型需要表示 N 个概念，但只有 d 个神经元（d < N）。线性代数不允许 d 维空间中有 N 个正交方向。模型的"解决方案"是将多个概念叠加到同一方向。
+
+## 为什么发生
+
+- **容量瓶颈**：高维语义空间必须嵌入低维激活空间
+- **效率驱动**：共享方向比独立方向更省参数
+- **稀疏利用**：利用概念使用的稀疏性（不是所有概念同时出现）
+
+## 后果
+
+- **[[polysemanticity|多义性]]**：单神经元无法被解释为"X 概念检测器"
+- **解释困难**：激活模式的线性组合不是直观的语义组合
+- **需要 SAE**：[[sparse-autoencoder|SAE]] 通过过完备字典 "解叠"
+
+## 与线性表征假设的关系
+
+[[linear-representation-hypothesis|线性表征假设]] 声称概念 = 激活空间中的方向。叠加表明这最多是**近似**——真正的表征是多个方向的叠加，SAE 的目标是恢复这些被压缩的方向。
+
+## 几何视角
+
+[[geometric-sae-concepts|Zhang et al. (2026)]] 从集合论角度重新审视叠加：
+
+- 概念不再只是向量方向，而是任意可测集合
+- 叠加 = 集合之间在低维几何空间中的不可分离性
+- 凸包不交是可分离的充要条件
+
+## 参考
+
+- [[polysemanticity|多义性]]
+- [[sparse-autoencoder|SAE]]
+- [[linear-representation-hypothesis|线性表征假设]]
+- [[geometric-sae-concepts|几何框架论文]]