748 B
748 B
Mamba (State Space Model)
选择性状态空间模型，由 Gu 和 Dao 2024 年提出，线性复杂度的 Transformer 替代方案。
核心机制
Mamba 将 SSM 的选择性机制（输入依赖的状态转移）与硬件感知算法结合，实现了线性时间序列建模，在多个任务上达到或超越 Transformer 性能。
与注意力机制的关系
Mamba 展示了突破 O(n²) 注意力瓶颈的另一条路——不是优化注意力，而是抛弃注意力。
相关概念
- linear-attention-methods — 另一条线性路径
- subquadratic-transformer-alternatives — 次二次替代综述
- attention-entropy-collapse — Mamba 无此问题
- llm-attention-survey-2026 — 综述参考