48 lines
1.5 KiB
Markdown
48 lines
1.5 KiB
Markdown
---
|
||
title: "半可分矩阵 (Semiseparable Matrices)"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: [mathematics, structured-matrices, ssm, attention]
|
||
sources:
|
||
- dao-transformers-are-ssms-2024
|
||
---
|
||
|
||
# 半可分矩阵 (Semiseparable Matrices)
|
||
|
||
半可分矩阵是 Dao & Gu (2024) 用来**桥接 SSM 和 Attention** 的结构化矩阵家族。这是经典数值线性代数中的概念，首次被引入深度学习。
|
||
|
||
## 定义
|
||
|
||
矩阵 M ∈ R^(T×T) 是半可分的，如果：
|
||
- **子二次参数**：可以用 O(T) 而非 O(T²) 参数表示
|
||
- **快速乘法**：存在 O(T) 的矩阵-向量乘法算法
|
||
|
||
## 与 SSM 的等价
|
||
|
||
核心定理：**SSM 算子等价于半可分矩阵乘法**
|
||
```
|
||
Y = SSM(A, B, C)(X) ⇔ Y = M · X
|
||
```
|
||
其中 M 的结构由 (A_t, B_t, C_t) 参数化：
|
||
- M_ij = C_i^T A_{i-1} ... A_{j+1} B_j（当 i ≥ j）
|
||
- M_ij = 0（当 i < j，因果性）
|
||
|
||
## 为什么是"桥梁"
|
||
|
||
| 视角 | 计算方式 | 对应的数据结构 |
|
||
|------|:--:|------|
|
||
| SSM（循环） | 逐步扫描 | M 的 O(T) 压缩表示 |
|
||
| Attention（对偶） | M 的显式乘法 | M 的 O(T²) 展开形式 |
|
||
|
||
## SSD 算法的关键
|
||
|
||
[[ssd-algorithm|SSD 算法]] 利用**块分解**在半可分矩阵上实现最优权衡——不完全是 O(T) 也不完全是 O(T²)，而是在现代硬件（GPU Tensor Core）上取最优的中间粒度。
|
||
|
||
## 参考
|
||
|
||
- [[structured-state-space-duality|SSD]]
|
||
- [[ssd-algorithm|SSD 算法]]
|
||
- [[structured-masked-attention|SMA]]
|
||
- [[dao-transformers-are-ssms-2024|论文]]
|