53 lines
1.8 KiB
Markdown
53 lines
1.8 KiB
Markdown
---
|
||
title: "结构化状态空间对偶 (Structured State Space Duality)"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: [ssm, attention, duality, framework]
|
||
sources:
|
||
- dao-transformers-are-ssms-2024
|
||
---
|
||
|
||
# 结构化状态空间对偶 (SSD)
|
||
|
||
SSD 是 Dao & Gu (2024) 提出的统一框架，揭示 **SSM 和 Attention 本质上是同一类模型的对偶形式**，通过 [[semiseparable-matrices|半可分矩阵]] 这一数学桥梁连接。
|
||
|
||
## 框架结构
|
||
|
||
```
|
||
SSM (线性/循环) ←→ 半可分矩阵 ←→ Attention (二次/并行)
|
||
↑ 线性时间 ↑ 二次时间
|
||
↑ 常状态推理 ↑ 矩阵乘法优化
|
||
```
|
||
|
||
## 核心等价关系
|
||
|
||
1. **矩阵变换视角**：SSM 算子 `SSM(A, B, C)` 等价于矩阵乘法 `Y = M_X * X`
|
||
2. **张量收缩视角**：从张量收缩的双线性形式导出 SSM ↔ Attention 的对偶
|
||
3. **半可分矩阵**：M 属于经典的半可分矩阵家族——用 O(T) 参数表示、O(T) 矩阵乘法
|
||
|
||
## SSD 层的双重形式
|
||
|
||
### 循环（线性）形式
|
||
- 选择性 SSM 的简化：A 从对角矩阵退化为**标量乘单位矩阵**
|
||
- Head 维度 P 从 1 增大到 64/128（类似 Transformer head）
|
||
- 牺牲少许表达力换取显著的训练效率
|
||
|
||
### 对偶（二次）形式
|
||
```
|
||
Y = (L ○ QK^T) · V
|
||
```
|
||
- L_ij = a_i × ... × a_{j+1}，a_i ∈ [0,1] 输入依赖
|
||
- 与 Softmax Attention 的区别：① 去掉 softmax，② 增加数据依赖的位置掩码 L
|
||
|
||
## 意义
|
||
|
||
SSD 使 SSM 能利用为 Transformer 开发的硬件优化（矩阵乘法单元、Tensor Parallelism、FlashAttention 式 block 算法），同时保持线性推理的优势。
|
||
|
||
## 参考
|
||
|
||
- [[mamba-2|Mamba-2]]
|
||
- [[semiseparable-matrices|半可分矩阵]]
|
||
- [[ssd-algorithm|SSD 算法]]
|
||
- [[dao-transformers-are-ssms-2024|论文]]
|