---
title: "增强状态空间模型 (Enhanced State-Space Models)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: [ssm, state-tracking, expressivity, architecture]
sources:
  - mozer-topological-trouble-transformers-2026
---

# 增强状态空间模型 (Enhanced State-Space Models)

增强状态空间模型是超越标准 Transformer 表达能力的 SSM 变体，是 Mozer et al. (2026) 提出的首要研究方向。

## 为何需要增强

标准线性 SSM 的表达能力**不超过**标准 Transformer（Merrill et al., 2025）。增强 SSM 通过引入非线性/结构化更新突破此限制。

## 关键架构

### DeltaNet 及其扩展
- **DeltaNet**（Schlag et al., 2021）：Delta 规则驱动的快速权重更新
- **负特征值扩展**（Grazzi et al., 2025）：将特征值范围扩展到负数 → 表达能力超越标准 Transformer，同时保持并行训练能力
- **门控 DeltaNet**（Yang et al., 2025a）：与标准 Transformer 块混合时，理论和实践均更强大（Merrill et al., 2026）

### RWKV-7
- **Peng et al., 2025**：广义 Delta 规则 + 向量值门控，首个被证明超越 TC^0（NC^1）的并行化可训练 RNN
- 可识别所有正则语言，单层可解决 S5 状态追踪
- 多语言 2.9B SoTA
- 论文：[[peng-rwkv7|RWKV-7 "Goose"]]

### PaTH Attention
- **Yang et al., 2025b**：路径注意力机制，具备增强的状态追踪能力

### 门控线性注意力
- **Yang et al., 2024b**：在线性注意力中加入门控机制
- **Gated Linear Attention + Transformer 混合**（Merrill et al., 2026）

## 核心优势

- **并行训练** + **超越 Transformer 的表达力**（DeltaNet 负特征值扩展）
- **竞争性规模性能**（RWKV-7 等）
- **灵活混合**：与标准 Transformer 块堆叠

## 参考

- [[state-space-models|状态空间模型]]
- [[step-recurrence|步级循环]]
- [[state-tracking|状态追踪]]
- [[mozer-topological-trouble-transformers-2026]]