52 lines
1.9 KiB
Markdown
52 lines
1.9 KiB
Markdown
---
|
||
title: "机制可解释性 (Mechanistic Interpretability)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [interpretability, safety, alignment]
|
||
sources: [raw/papers/zhang-geometric-sae-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 机制可解释性 (Mechanistic Interpretability)
|
||
|
||
机制可解释性（mech interp）研究神经网络的**内部计算机制**——不仅关注模型输出什么，更关注模型内部如何表示和处理信息。
|
||
|
||
## 核心理念
|
||
|
||
将神经网络视为可逆向工程的计算系统。目标是：
|
||
|
||
1. **分解**：将网络分解为可理解的组件
|
||
2. **理解**：揭示每个组件执行的计算
|
||
3. **验证**：通过干预实验确认因果关系
|
||
|
||
## 关键挑战
|
||
|
||
[[polysemanticity|多义性]] 是最大障碍——单个神经元同时编码多个概念；[[superposition|叠加]]是其根源。这使得直接的神经元分析不可靠。
|
||
|
||
## 主要工具
|
||
|
||
- **[[sparse-autoencoder|稀疏自编码器（SAE）]]**：通过过完备稀疏字典解耦叠加表征
|
||
- **探针（probes）**：训练线性分类器检测隐藏状态中的概念
|
||
- **激活修补（activation patching）**：干预特定激活观察因果效应
|
||
- **[[formal-concept-analysis|形式概念分析]]**：系统化组织神经元-概念多对多关系
|
||
|
||
## 理论框架
|
||
|
||
[[geometric-sae-concepts|Zhang et al. (2026)]] 提出集合论几何框架：
|
||
|
||
- 概念 = 数据点集合（数据扎根视角，非柏拉图）
|
||
- 概念学习 = 人类概念 C 与模型概念 θ 的集合对齐
|
||
- 神经元解释 = 给定神经元集合 M，描述其表征的概念
|
||
|
||
## 与 [[linear-representation-hypothesis|线性表征假设]] 的关系
|
||
|
||
该假设声称概念对应于激活空间中的方向且可线性组合——这是 SAE 等技术的基础信念。几何框架将其推广到任意可测集合（不限于线性方向）。
|
||
|
||
## 参考
|
||
|
||
- [[sparse-autoencoder|SAE]]
|
||
- [[polysemanticity|多义性]]
|
||
- [[superposition|叠加]]
|
||
- [[geometric-sae-concepts|几何框架论文]]
|