20260617:目前有914 页

concepts/feature-absorption.md

@@ -0,0 +1,52 @@
+---
+title: "特征吸收 (Feature Absorption)"
+created: 2026-06-17
+updated: 2026-06-17
+type: concept
+tags: [interpretability, sparse-autoencoder, failure-mode, phenomena]
+sources: [raw/papers/zhang-geometric-sae-2026.md]
+confidence: high
+---
+
+# 特征吸收 (Feature Absorption)
+
+特征吸收是 [[sparse-autoencoder|SAE]] 中层级概念学习的**失败模式**——父概念神经元未能对一个子概念的数据点激活，尽管该子概念在语义上属于父概念。
+
+## 形式化
+
+设 `C_i ⊂ C_j`（子概念 ⊆ 父概念）。理想情况下期望 `θ_{C_i} ⊂ θ_{C_j}`。
+
+吸收的数学定义：
+
+```
+µ(C_i ∩ θ_{C_j}^c) > 0
+```
+
+即父概念神经元 θ_{C_j} 在子概念 C_i 的正测度子集上未能激活。
+
+## 根本原因
+
+[[concept-learning|概念分离]]或近似的稀疏惩罚导致：
+
+- 激活子概念神经元 θ_{C_i} 已消耗稀疏预算
+- 同时激活父概念神经元 θ_{C_j} 增加稀疏成本
+- SAE 优化选择只激活子概念、跳过父概念
+
+## 几何解释
+
+从 [[geometric-sae-concepts|Zhang et al. (2026)]] 的框架：
+
+- 绝对门控下，父神经元 `H_j^+` 是半空间，本应覆盖子概念
+- 但相对门控（Top-K）下，子概念的数据点可能未被选入 Top-K
+- 层级概念的维护会系统性地增加稀疏成本
+
+## 意义
+
+特征吸收暴露了**稀疏性假设与层级语义之间的结构性张力**——SAE 的稀疏约束天然不利于层级概念的学习。这暗示需要架构创新（如层级 SAE）来支持父子概念的共存。
+
+## 参考
+
+- [[feature-splitting|特征分裂]]
+- [[feature-family|特征家族]]
+- [[sparse-autoencoder|SAE]]
+- [[geometric-sae-concepts|几何框架论文]]