循环分类法 (Recurrence Taxonomy)

Mozer et al. (2026) 提出的两维度分类体系，用于系统化区分循环 Transformer 架构。

两个维度

轴	含义	示例架构
深度 (Depth)	激活从深层回流浅层	Looped Transformer, Universal Transformer, RINS
步级 (Step)	激活在层内跨输入步传播	Mamba, RWKV-7, DeltaNet, 线性注意力
深度+步级 (Depth+Step)	两个方向均有循环	Recurrent Memory Transformer, Feedback Transformer, COCONUT

比例	含义	示例
> 1	多 token 并行处理，一步输出	Block-Recurrent Transformers, Looped
= 1	一个 token 对应一步	标准 RNN-like 循环, Mamba
< 1	多步循环处理单个 token	COCONUT, 隐式思考模型

Mozer et al. 指出分类表中存在空单元格（如步级循环 + 比例<1、深度循环 + 比例=1），这些是有前景的研究方向。

深度/步级循环是状态追踪的必要条件但非充分条件——真正的状态追踪需要训练期间的顺序依赖性，任何可在上下文维度上完全并行化的模型都存在限制。