---
title: "粗粒度循环 (Coarse-Grained Recurrence)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: [transformers, recurrence, efficiency, chunking]
sources:
  - mozer-topological-trouble-transformers-2026
---

# 粗粒度循环 (Coarse-Grained Recurrence)

粗粒度循环是 Mozer et al. (2026) 提出的有前景方向之一：在**比单个 token 更粗的粒度**上引入循环，以降低 token 级循环的计算负担。

## 核心思想

逐 token 的状态更新（标准 RNN 方式）存在**计算瓶颈**——每个 token 都需要串行处理。粗粒度循环通过**分组压缩**在效率和状态追踪之间寻求平衡。

## 实现方式

### 块循环 (Block-Recurrent)
- **Block-Recurrent Transformers**（Hutchins et al., 2022）：将固定长度 token 块并行处理，块间循环传递压缩记忆
- **Chevalier et al. (2023)**：块级自回归训练

### 语言结构驱动分块
- **Borazjanizadeh & McClelland (2025)**：以句子为单位的"思想"分块——将语言建模为离散思想序列
- 句子边界作为自然的循环步分界

## 优势

- 降低**串行步数**（token 级→句子级/块级）
- 保留**状态传播连续性**（块间循环）
- 更接近人类的**概念级**认知节奏

## 参考

- [[recurrence-taxonomy|循环分类法]]
- [[step-recurrence|步级循环]]
- [[latent-thought-models|隐式思考模型]]
- [[mozer-topological-trouble-transformers-2026]]