20260429:一些新东西
This commit is contained in:
18
concepts/mamba-ssm.md
Normal file
18
concepts/mamba-ssm.md
Normal file
@@ -0,0 +1,18 @@
|
||||
# Mamba (State Space Model)
|
||||
|
||||
**选择性状态空间模型**,由 Gu 和 Dao 2024 年提出,线性复杂度的 Transformer 替代方案。
|
||||
|
||||
## 核心机制
|
||||
|
||||
Mamba 将 SSM 的选择性机制(输入依赖的状态转移)与硬件感知算法结合,实现了线性时间序列建模,在多个任务上达到或超越 Transformer 性能。
|
||||
|
||||
## 与注意力机制的关系
|
||||
|
||||
Mamba 展示了突破 O(n²) 注意力瓶颈的另一条路——不是优化注意力,而是**抛弃注意力**。
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[linear-attention-methods]] — 另一条线性路径
|
||||
- [[subquadratic-transformer-alternatives]] — 次二次替代综述
|
||||
- [[attention-entropy-collapse]] — Mamba 无此问题
|
||||
- [[llm-attention-survey-2026]] — 综述参考
|
||||
Reference in New Issue
Block a user