47 lines
1.4 KiB
Markdown
47 lines
1.4 KiB
Markdown
---
|
||
title: "Activation Steering"
|
||
created: 2026-06-01
|
||
updated: 2026-06-01
|
||
type: concept
|
||
tags: [steering, interpretability, inference-time-intervention]
|
||
sources: [raw/papers/xu-why-steering-works-2026.md]
|
||
---
|
||
|
||
# Activation Steering（激活导向）
|
||
|
||
## 定义
|
||
|
||
激活导向是在推理时修改 LLM 中间层表示的方法，通过向选定激活添加一个导向向量：
|
||
|
||
$$h_{i+1} = W h_i + b + mv$$
|
||
|
||
其中 $v$ 是预定的方向，$m$ 是标量系数。
|
||
|
||
## 理论基础
|
||
|
||
激活导向建立在**线性表示假说** ([[linear-representation-hypothesis]]) 之上：抽象概念在表示空间中近似对应线性子空间。导向向量 $v$ 可以从概念正负样本的激活差异中提取（DiffMean）。
|
||
|
||
## 在统一框架中
|
||
|
||
在 Xu et al. (2026) 的统一动态权重视角中，激活导向等价于仅修改偏置 b：
|
||
|
||
$$h_{i+1} = W h_i + (b + m\Delta b)$$
|
||
|
||
$$\Delta h = m\Delta b$$
|
||
|
||
它是动态权重更新中**参数规模最小**（仅 $d_{out}$ 参数）的形式。
|
||
|
||
## 常见方法
|
||
|
||
- **DiffMean**（Marks & Tegmark, 2023）：无训练，从对比对中取激活差值的均值
|
||
- **SFT**：监督微调导向向量
|
||
- **RePS**：基于偏好的训练
|
||
|
||
## 相关概念
|
||
|
||
- [[dynamic-weight-updates]] — 统一框架
|
||
- [[steering-vector]] — 导向向量的提取方法
|
||
- [[linear-representation-hypothesis]] — 线性空间假设
|
||
- [[split-steering]] — 改进的向量训练方法
|
||
- [[xu-why-steering-works]] — 源论文
|