---
title: "循环分类法 (Recurrence Taxonomy)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: [transformers, taxonomy, recurrence]
sources:
  - mozer-topological-trouble-transformers-2026
---

# 循环分类法 (Recurrence Taxonomy)

Mozer et al. (2026) 提出的**两维度分类体系**，用于系统化区分循环 Transformer 架构。

## 两个维度

### 维度一：循环轴 (Recurrence Axis)

| 轴 | 含义 | 示例架构 |
|---|---|---|
| 深度 (Depth) | 激活从深层回流浅层 | Looped Transformer, Universal Transformer, RINS |
| 步级 (Step) | 激活在层内跨输入步传播 | Mamba, RWKV-7, DeltaNet, 线性注意力 |
| 深度+步级 (Depth+Step) | 两个方向均有循环 | Recurrent Memory Transformer, Feedback Transformer, COCONUT |

### 维度二：每循环步输入 Token 数

| 比例 | 含义 | 示例 |
|---|---|---|
| > 1 | 多 token 并行处理，一步输出 | Block-Recurrent Transformers, Looped |
| = 1 | 一个 token 对应一步 | 标准 RNN-like 循环, Mamba |
| < 1 | 多步循环处理单个 token | COCONUT, 隐式思考模型 |

## 空单元格的意义

Mozer et al. 指出分类表中存在空单元格（如步级循环 + 比例<1、深度循环 + 比例=1），这些是**有前景的研究方向**。

## 必要条件 vs 充分条件

深度/步级循环是状态追踪的**必要条件但非充分条件**——真正的状态追踪需要训练期间的顺序依赖性，任何可在上下文维度上完全并行化的模型都存在限制。

## 参考

- [[recurrent-transformer-architectures|循环 Transformer 架构]]
- [[depth-recurrence|深度循环]]
- [[step-recurrence|步级循环]]
- [[latent-thought-models|隐式思考模型]]
- [[mozer-topological-trouble-transformers-2026]]