1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| HiPPO (High-order Polynomial Projection Operators) | 2026-06-18 | 2026-06-18 | concept |
|
|
HiPPO
定义
HiPPO（High-order Polynomial Projection Operators，高阶多项式投影算子）是 structured-state-space-models 和 Mamba 等 SSM 的数学基础。HiPPO 框架定义了如何在线压缩连续信号的历史信息到一个固定维度的隐状态中，为 SSM 提供了处理长距离依赖的理论保证。
核心思想
问题：如何用固定大小的隐状态 h(t) ∈ R^N 最佳地编码无限长的历史信号 x(<=t)？
HiPPO 的答案：将历史信号投影到正交多项式基上，在线更新系数：
h'(t) = A(t) h(t) + B(t) x(t)
其中 A(t) 矩阵的选择决定了"哪些历史信息被保留、如何衰减"。
HiPPO-LegS 矩阵
最常用的 HiPPO 矩阵是 HiPPO-LegS（Legendre Scaled），它为 S4 和 Mamba 提供了时间尺度鲁棒性：
- 对输入的时间拉伸/压缩不敏感
- 天然具备长距离记忆的归纳偏置
- 不需要位置编码即可处理任意长度序列
在 Mamba 中的角色
Mamba 继承了 S4 的 HiPPO 初始化：
- A 矩阵使用 HiPPO-LegS 的对角化版本
- 但 Mamba 的选择机制（selective-state-space）使实际动力学变为输入依赖——HiPPO 提供的只是良好的初始归纳偏置，实际行为由数据和选择机制共同决定
相关概念
- structured-state-space-models — 直接基于 HiPPO 构建的 S4
- selective-state-space — Mamba 在 HiPPO 基础上增加选择性
- long-range-dependency — HiPPO 解决的核心问题
- gu-mamba
参考
- HiPPO (Gu et al., 2020)
- S4 (Gu, Goel & Ré, 2022)
- gu-mamba (Gu & Dao, 2024)