---
title: "状态空间模型 (State-Space Models)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: [ssm, recurrence, architecture, state-tracking]
sources:
  - mozer-topological-trouble-transformers-2026
---

# 状态空间模型 (State-Space Models)

状态空间模型（SSM）是一类通过**隐状态横向传播**实现序列建模的架构（[[step-recurrence|步级循环]]），在 Mozer et al. (2026) 的分类中占据步级循环轴的核心位置。

## 核心形式

SSM 在每层内维护一个隐状态，从前一步向后一步传播：
```
h_t = A * h_{t-1} + B * x_t    （状态更新）
y_t = C * h_t                   （输出投影）
```

## 主要架构

| 架构 | 特点 |
|------|------|
| **线性注意力**（Katharopoulos et al., 2020） | 核化注意力 = 线性 SSM |
| **Mamba**（Gu & Dao, 2024） | 输入依赖的选择性门控 |
| **DeltaNet**（Schlag et al., 2021） | Delta 规则更新，快速权重 |
| **RWKV-7**（Peng et al., 2025） | 线性注意力 + Delta 规则 |
| **Canon Layers**（Allen-Zhu, 2025） | 规范形式层 |

## 表达能力边界

Merrill et al. (2025) 的关键结论：
- **线性更新的 SSM** 不超过 Transformer 表达能力
- **增强 SSM**（如 DeltaNet 负特征值扩展，Grazzi et al., 2025）可超越
- 门控线性注意力 + Transformer 混合优于纯方案（Merrill et al., 2026）

## 优势与局限

**优势**：
- 推理时 O(1) 记忆（不需要 KV cache 随序列增长）
- 训练时可并行（关联扫描）

**局限**：
- 标准形式不能实现无限状态追踪
- 选择性门控（Mamba）增加了表达能力但仍有限

## 参考

- [[enhanced-state-space-models|增强状态空间模型]]
- [[step-recurrence|步级循环]]
- [[state-tracking|状态追踪]]
- [[feedforward-depth-limitation|前馈深度局限]]
- [[mozer-topological-trouble-transformers-2026|Topological Trouble With Transformers]]
- [[gu-mamba|Mamba 论文]] (Gu & Dao, 2024)
- [[dao-transformers-are-ssms-2024|Transformers are SSMs (Mamba-2)]] (Dao & Gu, 2024)
- [[selective-state-space-models|选择性状态空间模型]]
- [[selective-state-space|选择机制 (S6)]]