20260625:很多新内容

concepts/selective-state-space.md

@@ -0,0 +1,56 @@
+---
+title: "Selective State Space (S6)"
+created: 2026-06-18
+updated: 2026-06-18
+type: concept
+tags: ["ssm", "mamba", "selection-mechanism", "architecture"]
+sources: ["https://arxiv.org/abs/2312.00752"]
+---
+
+# Selective State Space (S6)
+
+## 定义
+
+Selective State Space（S6）是 Mamba 提出的核心机制，将 [[state-space-models|SSM]] 从线性时间不变（LTI）升级为输入依赖的参数化。S6 让 SSM 的 B、C、Δ 参数成为输入 x_t 的函数，使模型能够在序列维度上**选择性传播或遗忘信息**。
+
+## 从 S4 到 S6
+
+```
+S4 (LTI):  B, C, Δ — 所有时间步固定 → 卷积 OR 循环
+S6:       B_t = s_B(x_t), C_t = s_C(x_t), Δ_t = τ(Δ + s_Δ(x_t))
+          → 仅循环（scan），但获得了选择性
+```
+
+| 维度 | S4 | S6 |
+|------|-----|-----|
+| 参数 | Parameter (D, N) | x 的函数 (B, L, N/D) |
+| Δ | 标量参数 | 输入依赖步长 → 控制"关注多久" |
+| 选择性 | 无（所有 token 同等对待） | 有（根据内容过滤/保留） |
+| 计算 | 卷积 (训练) + 循环 (推理) | 仅循环 (需 scan) |
+
+## 具体参数化
+
+```python
+B_t = Linear_N(x_t)      # (B, L, N)
+C_t = Linear_N(x_t)      # (B, L, N)
+Δ_t = softplus(Δ + Linear_1(x_t))  # (B, L, D)
+A_bar, B_bar = discretize(Δ_t, A, B_t)  # ZOH 离散化
+```
+
+Δ 的选择：`s_Δ = Broadcast_D(Linear_1(x))`，`τ_Δ = softplus`——与 RNN 门控机制（GRU/LSTM）有深层联系。
+
+## 选择性 Δ 的门控解释
+
+当 Δ_t 大 → 状态"重置"，模型更关注当前输入而遗忘过去；当 Δ_t 小 → 状态"保持"，模型忽略当前输入而保留历史。这与 LSTM 的遗忘门和 GRU 的更新门功能类似。
+
+## 相关概念
+
+- [[hardware-aware-algorithm]] — 选择性消除卷积后的高效计算方案
+- [[content-based-reasoning]] — 选择性实现的根本能力
+- [[structured-state-space-models]] — S4 前身（LTI）
+- [[mamba-ssm]] — 使用 S6 的完整架构
+- [[gu-mamba|Mamba 论文]]
+
+## 参考
+
+- [[gu-mamba|Mamba]] (Gu & Dao, 2024)