50 lines
1.9 KiB
Markdown
50 lines
1.9 KiB
Markdown
---
|
||
title: "Induction Heads"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["llm-mechanism", "in-context-learning", "synthetic-task"]
|
||
sources: ["https://arxiv.org/abs/2312.00752"]
|
||
---
|
||
|
||
# Induction Heads
|
||
|
||
## 定义
|
||
|
||
Induction Heads（归纳头）是 Olsson et al. (2022) 提出的注意力机制模式，被认为是解释 LLM **in-context learning** 能力的关键机制。Mamba 论文将其作为证明选择性 SSM 能力的第二个核心合成任务。
|
||
|
||
## 机制描述
|
||
|
||
Induction Head 执行一种**基于上下文的联想回忆**：
|
||
|
||
```
|
||
序列: ... [A] [B] ... [A] →
|
||
模型需要在看到第二个 [A] 时，"回忆起"第一个 [A] 后面是 [B]，并预测 [B]
|
||
```
|
||
|
||
本质上是一个"此前发生过什么"的模式匹配：`[prefix] ... [prefix] → [completion]`。
|
||
|
||
## 为什么重要
|
||
|
||
Olsson et al. 发现 Induction Heads 在 Transformer 训练过程中**阶段性涌现**（phase change），并且其出现与 in-context learning 能力的形成高度相关。Transformer 的注意力机制天然支持这种"前缀匹配 + 复制"操作。
|
||
|
||
## 在 Mamba 中的作用
|
||
|
||
Mamba 论文将 Induction Heads 作为第二个核心合成基准：
|
||
|
||
- LTI SSM（S4、H3、Hyena）在此任务上表现受限——其时间不变的参数无法实现"根据前缀内容决定输出"的选择性行为
|
||
- Mamba 的 S6 机制（[[selective-state-space]]）通过输入依赖的参数化，赋予了模型"看到什么内容就做什么决定"的能力
|
||
- Mamba 不仅解决了 Induction Heads，还能**外推到 >1M token** 的序列
|
||
|
||
## 相关概念
|
||
|
||
- [[selective-copy]] — 另一个诊断合成任务
|
||
- [[content-based-reasoning]] — Induction Heads 需要的能力
|
||
- [[selective-state-space]] — Mamba 解决此任务的关键
|
||
- [[in-context-learning]] — Induction Heads 解释的现象
|
||
|
||
## 参考
|
||
|
||
- Olsson et al. (2022) "In-context Learning and Induction Heads"
|
||
- [[gu-mamba|Mamba]] (Gu & Dao, 2024) Section 3.1
|