1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 张量收缩对偶 (Tensor Contraction Duality) | 2026-06-18 | 2026-06-18 | concept |
|
|
张量收缩对偶 (Tensor Contraction Duality)
张量收缩对偶是 Dao & Gu (2024) 揭示 structured-state-space-duality 框架的两种互补视角之一——从双线性形式的张量收缩导出 SSM ↔ Attention 的对偶。
两种视角
视角 1：矩阵变换
Y = M · X
M_ij = C_i^T A_{i-1} ... A_{j+1} B_j
- 将 SSM 看作参数化矩阵 M 的乘法
- M 属于 semiseparable-matrices 家族
视角 2：张量收缩
序列变换 = 张量收缩(Z, X)
- 将 SSM 和 Attention 统一为张量上的相同收缩模式
- Z 的秩和结构决定了是线性（SSM）还是二次（Attention）形式
对偶的本质
两种视角等价但揭示不同属性：
| 视角 | 揭示 | 适合 |
|---|---|---|
| 矩阵变换 | 结构化矩阵、分块算法 | 高效实现（SSD 算法） |
| 张量收缩 | 对偶性、注意力连接 | 理论分析、框架统一 |
在证明中的应用
张量收缩视角提供了线性注意力的新证明——从张量收缩的双线性形式直接导出其循环形式，比 Katharopoulos et al. (2020) 的原始证明更简洁。