67 lines
2.2 KiB
Markdown
67 lines
2.2 KiB
Markdown
---
|
||
title: "Content-Based Reasoning"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["sequence-modeling", "ssm", "mamba", "attention"]
|
||
sources: ["https://arxiv.org/abs/2312.00752"]
|
||
---
|
||
|
||
# Content-Based Reasoning
|
||
|
||
## 定义
|
||
|
||
Content-Based Reasoning（内容感知推理）是 Mamba 论文识别出的 LTI 序列模型的核心弱点：**模型能否根据输入 token 的实际内容（而非仅时间位置）来决定信息的传播与遗忘**。Transformer 的注意力天然具备此能力（每个 token 的注意力分布取决于 query-key 的内容交互），但 LTI SSM 完全缺失。
|
||
|
||
## 为什么 LTI 缺失此能力
|
||
|
||
LTI（线性时间不变）模型的参数对所有时间步固定：
|
||
|
||
```
|
||
h_t = A_bar * h_{t-1} + B_bar * x_t （A_bar, B_bar 不随 x_t 变化）
|
||
```
|
||
|
||
无论输入是 "important" 还是 "noise"，状态更新规则**完全相同**。模型无法：
|
||
- 选择性地记住关键 token
|
||
- 根据内容忽略无关 token
|
||
- 在上下文中看到模式后改变行为
|
||
|
||
## Transformer 为什么有
|
||
|
||
自注意力中的 Q-K 内积是**天然的内容感知**：
|
||
|
||
```
|
||
Attention(Q, K, V) = softmax(Q K^T) V
|
||
```
|
||
|
||
Q 和 K 都是输入的函数 → 注意力分布随内容变化 → 模型能根据 token 的语义决定"关注谁"。
|
||
|
||
## Mamba 的解决方案
|
||
|
||
Mamba 的选择机制（[[selective-state-space]]）以不同的路径实现内容感知：
|
||
|
||
```
|
||
B_t, C_t, Δ_t = f(x_t) ← SSM 参数变为输入的函数
|
||
```
|
||
|
||
不是让 token 彼此交互（注意力），而是让每个 token 的**处理方式**随其内容改变——看到重要 token 就"打开门"（大 Δ），看到噪声就"关上门"（小 Δ）。
|
||
|
||
## 诊断任务
|
||
|
||
两个合成任务精确测试内容感知能力：
|
||
- [[selective-copy]]：需要根据 token "颜色"决定是否记忆
|
||
- [[induction-heads]]：需要根据前缀"内容"回忆后续
|
||
|
||
LTI 模型在两个任务上均失败，Mamba 不仅解决，且能外推到 >1M tokens。
|
||
|
||
## 相关概念
|
||
|
||
- [[selective-state-space]] — Mamba 实现内容感知的机制
|
||
- [[structured-state-space-models]] — LTI，缺少此能力
|
||
- [[attention-mechanism]] — 另一种内容感知的实现路径
|
||
- [[gu-mamba|Mamba 论文]]
|
||
|
||
## 参考
|
||
|
||
- [[gu-mamba|Mamba]] (Gu & Dao, 2024) Section 3.1
|