---
title: "稀疏自编码器 (Sparse Autoencoder)"
created: 2026-06-17
updated: 2026-06-17
type: concept
tags: [interpretability, architecture, dictionary-learning, sparse-coding]
sources: [raw/papers/zhang-geometric-sae-2026.md]
confidence: high
---

# 稀疏自编码器 (Sparse Autoencoder)

SAE 是**机制可解释性的核心工具**——通过学过完备稀疏表征将神经网络激活分解为可解释特征。

## 基本结构

```
z = W_enc (x - b_pre) + b_enc    # 编码：从 n 维激活映射到 d 维 (d >> n)
a = Act(z)                        # 稀疏激活
x̂ = W_dec a + b_dec              # 解码：重构原始激活
```

## 主要变体

[[geometric-sae-concepts|Zhang et al. (2026)]] 将 SAE 分为两类：

### [[absolute-gating|绝对门控]]
每个神经元激活独立于其他：
- **ReLU SAE**：`L = ‖x - x̂‖² + λ‖a‖₁`，L1 正则化强制稀疏
- **Gated SAE**：引入门控机制提高选择性
- **JumpReLU SAE**：使用跳跃 ReLU 激活

### [[absolute-gating|相对门控]]
神经元激活依赖于其他神经元（竞争选择）：
- **Top-K SAE**：仅保留 k 个最大激活，其余归零
- **Matching Pursuit SAE**：迭代选择最有贡献的神经元
- **SPaDE**：结构化稀疏分解

## 核心理念

SAE 的基础假设是[[linear-representation-hypothesis|线性表征假设]]：语义概念对应于激活空间中的方向并可线性组合。SAE 通过稀疏性强制将这些方向解耦，使单个神经元趋向[[polysemanticity|单义性]]。

## 参考

- [[polysemanticity|多义性/单义性]]
- [[mechanistic-interpretability|机制可解释性]]
- [[linear-representation-hypothesis|线性表征假设]]
- [[geometric-sae-concepts|几何框架论文]]