19 lines
748 B
Markdown
19 lines
748 B
Markdown
# Mamba (State Space Model)
|
|
|
|
**选择性状态空间模型**，由 Gu 和 Dao 2024 年提出，线性复杂度的 Transformer 替代方案。
|
|
|
|
## 核心机制
|
|
|
|
Mamba 将 SSM 的选择性机制（输入依赖的状态转移）与硬件感知算法结合，实现了线性时间序列建模，在多个任务上达到或超越 Transformer 性能。
|
|
|
|
## 与注意力机制的关系
|
|
|
|
Mamba 展示了突破 O(n²) 注意力瓶颈的另一条路——不是优化注意力，而是**抛弃注意力**。
|
|
|
|
## 相关概念
|
|
|
|
- [[linear-attention-methods]] — 另一条线性路径
|
|
- [[subquadratic-transformer-alternatives]] — 次二次替代综述
|
|
- [[attention-entropy-collapse]] — Mamba 无此问题
|
|
- [[llm-attention-survey-2026]] — 综述参考
|