Mamba

定义

Mamba 是 Gu & Dao (2024) 提出的选择性状态空间序列模型，第一个在线性复杂度下真正达到 Transformer 质量的语言建模架构。核心创新是将 SSM 从线性时间不变（LTI）升级为输入依赖的选择性参数化（S6），结合硬件感知并行算法。

传统 S4 的关键局限：参数 (A, B, C, Δ) 对所有时间步固定 → 状态更新规则不随输入内容改变 → 无法选择性关注或忽略信息。

Mamba 的 S6 将 B, C, Δ 变为输入的函数：

B_t = s_B(x_t)   C_t = s_C(x_t)   Δ_t = τ(Δ + s_Δ(x_t))

效果：模型能根据当前 token 内容决定传播或遗忘信息——实现 content-based-reasoning。

选择机制消除卷积等价性 → 必须循环计算。Mamba 通过**并行关联扫描（hardware-aware-algorithm）**在 GPU SRAM 中高效完成，避免 HBM IO 瓶颈。

Mamba block = LayerNorm → Linear(expand) → Conv1d → SiLU → SSM(S6) → 与门控分支逐元素乘 → Linear(project) → 残差。无注意力、无 MLP。