Structured State Space Models (S4)

定义

Structured State Space Models（S4）是 Mamba 的前身，由 Gu, Goel & Ré (2022) 提出。S4 是一类通过结构化隐状态实现序列建模的架构，结合了 RNN 的循环计算和 CNN 的并行卷积计算，具有线性或近线性复杂度。

S4 通过四个参数 (Δ, A, B, C) 定义序列变换：

连续形式：

h'(t) = A h(t) + B x(t)
y(t) = C h(t)

离散化后（ZOH 规则）：

A_bar = exp(Δ A)
B_bar = (Δ A)^(-1) (exp(Δ A) - I) · Δ B

两种计算模式：

模式	公式	用途
循环	h_t = A_bar h_{t-1} + B_bar x_t; y_t = C h_t	推理（单步 O(1)）
卷积	K = (CB, CAB, CA²B, ...); y = x * K	训练（并行）

S4 的关键性质是 LTI：参数 (A, B, C, Δ) 对所有时间步完全相同。这带来了两个好处：

但也带来了根本限制：无法进行内容感知的选择性处理。

S4 使用 hippo（High-order Polynomial Projection Operators）初始化 A 矩阵，使模型天然具备长距离记忆的归纳偏置。

Mamba 的贡献正是去除 LTI 约束：