48 lines
1.7 KiB
Markdown
48 lines
1.7 KiB
Markdown
---
|
||
title: "循环分类法 (Recurrence Taxonomy)"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: [transformers, taxonomy, recurrence]
|
||
sources:
|
||
- mozer-topological-trouble-transformers-2026
|
||
---
|
||
|
||
# 循环分类法 (Recurrence Taxonomy)
|
||
|
||
Mozer et al. (2026) 提出的**两维度分类体系**，用于系统化区分循环 Transformer 架构。
|
||
|
||
## 两个维度
|
||
|
||
### 维度一：循环轴 (Recurrence Axis)
|
||
|
||
| 轴 | 含义 | 示例架构 |
|
||
|---|---|---|
|
||
| 深度 (Depth) | 激活从深层回流浅层 | Looped Transformer, Universal Transformer, RINS |
|
||
| 步级 (Step) | 激活在层内跨输入步传播 | Mamba, RWKV-7, DeltaNet, 线性注意力 |
|
||
| 深度+步级 (Depth+Step) | 两个方向均有循环 | Recurrent Memory Transformer, Feedback Transformer, COCONUT |
|
||
|
||
### 维度二：每循环步输入 Token 数
|
||
|
||
| 比例 | 含义 | 示例 |
|
||
|---|---|---|
|
||
| > 1 | 多 token 并行处理，一步输出 | Block-Recurrent Transformers, Looped |
|
||
| = 1 | 一个 token 对应一步 | 标准 RNN-like 循环, Mamba |
|
||
| < 1 | 多步循环处理单个 token | COCONUT, 隐式思考模型 |
|
||
|
||
## 空单元格的意义
|
||
|
||
Mozer et al. 指出分类表中存在空单元格（如步级循环 + 比例<1、深度循环 + 比例=1），这些是**有前景的研究方向**。
|
||
|
||
## 必要条件 vs 充分条件
|
||
|
||
深度/步级循环是状态追踪的**必要条件但非充分条件**——真正的状态追踪需要训练期间的顺序依赖性，任何可在上下文维度上完全并行化的模型都存在限制。
|
||
|
||
## 参考
|
||
|
||
- [[recurrent-transformer-architectures|循环 Transformer 架构]]
|
||
- [[depth-recurrence|深度循环]]
|
||
- [[step-recurrence|步级循环]]
|
||
- [[latent-thought-models|隐式思考模型]]
|
||
- [[mozer-topological-trouble-transformers-2026]]
|