69 lines
2.0 KiB
Markdown
69 lines
2.0 KiB
Markdown
---
|
||
title: "Structured State Space Models (S4)"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["ssm", "s4", "sequence-modeling", "lti"]
|
||
sources: ["https://arxiv.org/abs/2312.00752"]
|
||
---
|
||
|
||
# Structured State Space Models (S4)
|
||
|
||
## 定义
|
||
|
||
Structured State Space Models（S4）是 Mamba 的前身，由 Gu, Goel & Ré (2022) 提出。S4 是一类通过**结构化隐状态**实现序列建模的架构，结合了 RNN 的循环计算和 CNN 的并行卷积计算，具有线性或近线性复杂度。
|
||
|
||
## 数学形式
|
||
|
||
S4 通过四个参数 (Δ, A, B, C) 定义序列变换：
|
||
|
||
**连续形式**：
|
||
```
|
||
h'(t) = A h(t) + B x(t)
|
||
y(t) = C h(t)
|
||
```
|
||
|
||
**离散化后（ZOH 规则）**：
|
||
```
|
||
A_bar = exp(Δ A)
|
||
B_bar = (Δ A)^(-1) (exp(Δ A) - I) · Δ B
|
||
```
|
||
|
||
**两种计算模式**：
|
||
|
||
| 模式 | 公式 | 用途 |
|
||
|------|------|------|
|
||
| 循环 | h_t = A_bar h_{t-1} + B_bar x_t; y_t = C h_t | 推理（单步 O(1)） |
|
||
| 卷积 | K = (CB, CAB, CA²B, ...); y = x * K | 训练（并行） |
|
||
|
||
## 核心性质：线性时间不变（LTI）
|
||
|
||
S4 的关键性质是 **LTI**：参数 (A, B, C, Δ) 对所有时间步**完全相同**。这带来了两个好处：
|
||
- 训练可用 FFT 卷积（O(n log n)）
|
||
- 推理可用循环（每步 O(1)）
|
||
|
||
但也带来了根本限制：**无法进行内容感知的选择性处理**。
|
||
|
||
## HiPPO 矩阵
|
||
|
||
S4 使用 [[hippo|HiPPO]]（High-order Polynomial Projection Operators）初始化 A 矩阵，使模型天然具备长距离记忆的归纳偏置。
|
||
|
||
## 从 S4 到 S6
|
||
|
||
Mamba 的贡献正是**去除 LTI 约束**：
|
||
- S4 的 B, C, Δ 是固定参数
|
||
- S6 的 B_t, C_t, Δ_t 是 x_t 的函数 → 获得选择性 → 牺牲卷积模式 → 需硬件感知算法补偿
|
||
|
||
## 相关概念
|
||
|
||
- [[selective-state-space]] — S6，S4 的选择性升级版
|
||
- [[hippo]] — S4 的数学基础
|
||
- [[hardware-aware-algorithm]] — 去掉卷积后的高效补偿
|
||
- [[state-space-models]] — SSM 家族总览
|
||
- [[gu-mamba|Mamba 论文]]
|
||
|
||
## 参考
|
||
|
||
- S4 (Gu, Goel & Ré, 2022)
|
||
- [[gu-mamba|Mamba]] (Gu & Dao, 2024)
|