1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | ||||
|---|---|---|---|---|---|---|---|---|---|---|
| 绝对门控与相对门控 (Absolute vs Relative Gating) | 2026-06-17 | 2026-06-17 | concept |
|
|
high |
绝对门控与相对门控 (Absolute vs Relative Gating)
geometric-sae-concepts 提出的 sparse-autoencoder 架构分类——门控机制的本质差异决定了 SAE 的几何性质和可分析性。
绝对门控 (Absolute Gating)
每个神经元的激活仅由自身预激活值决定：
- ReLU SAE：
a_i = max(0, z_i)，激活区域 = 半空间H_i^+ - Gated SAE：引入额外门控网络
- JumpReLU SAE：
a_i = z_i · 1[z_i > τ_i]
几何性质：
- 神经元激活区域
N_i = H_i^+（精确等于半空间） - 多神经元单元的激活区域 = 半空间的交集（凸多面体）
- 理论分析直接、条件简单
相对门控 (Relative Gating)
神经元的激活依赖于与其他神经元的比较：
- Top-K SAE：仅保留 k 个最大 z_i
- Matching Pursuit SAE：迭代选择贡献最大的
- SPaDE：结构化选择
几何性质：
N_i ⊆ H_i^+（仅半空间的子集）- N_i 是超平面排列区域的并集（复杂非凸形状）
- 即使
z_i > τ_i，若未进入 Top-K 也不激活
几何差异的后果
| 性质 | 绝对门控 | 相对门控 |
|---|---|---|
| 激活区域 | 半空间（凸） | 多胞体并集（非凸） |
| 概念分离条件 | Conv(C) ∩ Conv(N) = ∅ | 更复杂 |
| 稀疏性 | L1 正则化（软约束） | k 硬约束 |
| 层级概念 | 天然支持（子概念激活不排斥父概念） | 竞争排斥 |