---
title: "步级循环 (Step Recurrence)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: [transformers, recurrence, ssm, state-tracking]
sources:
  - mozer-topological-trouble-transformers-2026
---

# 步级循环 (Step Recurrence)

步级循环是[[recurrence-taxonomy|循环分类法]]中沿**输入步轴**的循环模式：层内激活从前一步流向下一步（Mozer et al., 2026）。

## 对应 Mozer et al. 图 7

激活在**同一层内**从 t-1 步到 t 步横向传播，不同于深度循环的垂直传播。

## 代表架构

| 架构 | 特点 |
|------|------|
| **线性注意力**（Katharopoulos et al., 2020） | 核化注意力，线性复杂度 |
| **Mamba**（Gu & Dao, 2024） | 选择性状态空间模型，输入依赖门控 |
| **RWKV-7**（Peng et al., 2025） | 线性注意力 + Delta 规则 |
| **DeltaNet**（Schlag et al., 2021） | Delta 规则驱动的快速权重更新 |
| **PaTH Attention**（Yang et al., 2025b） | 路径注意力 |
| **Canon Layers**（Allen-Zhu, 2025） | 规范形式的层结构 |
| **Test-Time Regression**（Sun et al., 2025） | 推理时回归更新 |

## 表达能力边界

Merrill et al. (2025) 证明：具有**线性更新**的 SSM 表达能力不超过标准 Transformer。但扩展到**负特征值**（Grazzi et al., 2025）后，DeltaNet 超越了标准 Transformer 的表达力。

## 参考

- [[depth-recurrence|深度循环]]
- [[state-space-models|状态空间模型]]
- [[enhanced-state-space-models|增强状态空间模型]]
- [[sequential-dependency|顺序依赖]]
- [[mozer-topological-trouble-transformers-2026]]