20260625:很多新内容

concepts/recurrence-taxonomy.md

@@ -0,0 +1,47 @@
+---
+title: "循环分类法 (Recurrence Taxonomy)"
+created: 2026-06-18
+updated: 2026-06-18
+type: concept
+tags: [transformers, taxonomy, recurrence]
+sources:
+  - mozer-topological-trouble-transformers-2026
+---
+
+# 循环分类法 (Recurrence Taxonomy)
+
+Mozer et al. (2026) 提出的**两维度分类体系**，用于系统化区分循环 Transformer 架构。
+
+## 两个维度
+
+### 维度一：循环轴 (Recurrence Axis)
+
+| 轴 | 含义 | 示例架构 |
+|---|---|---|
+| 深度 (Depth) | 激活从深层回流浅层 | Looped Transformer, Universal Transformer, RINS |
+| 步级 (Step) | 激活在层内跨输入步传播 | Mamba, RWKV-7, DeltaNet, 线性注意力 |
+| 深度+步级 (Depth+Step) | 两个方向均有循环 | Recurrent Memory Transformer, Feedback Transformer, COCONUT |
+
+### 维度二：每循环步输入 Token 数
+
+| 比例 | 含义 | 示例 |
+|---|---|---|
+| > 1 | 多 token 并行处理，一步输出 | Block-Recurrent Transformers, Looped |
+| = 1 | 一个 token 对应一步 | 标准 RNN-like 循环, Mamba |
+| < 1 | 多步循环处理单个 token | COCONUT, 隐式思考模型 |
+
+## 空单元格的意义
+
+Mozer et al. 指出分类表中存在空单元格（如步级循环 + 比例<1、深度循环 + 比例=1），这些是**有前景的研究方向**。
+
+## 必要条件 vs 充分条件
+
+深度/步级循环是状态追踪的**必要条件但非充分条件**——真正的状态追踪需要训练期间的顺序依赖性，任何可在上下文维度上完全并行化的模型都存在限制。
+
+## 参考
+
+- [[recurrent-transformer-architectures|循环 Transformer 架构]]
+- [[depth-recurrence|深度循环]]
+- [[step-recurrence|步级循环]]
+- [[latent-thought-models|隐式思考模型]]
+- [[mozer-topological-trouble-transformers-2026]]