---
title: "吸引子动力学 (Attractor Dynamics)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: [dynamical-systems, recurrence, transformers, convergence]
sources:
  - mozer-topological-trouble-transformers-2026
---

# 吸引子动力学 (Attractor Dynamics)

吸引子动力学是循环网络中的一种状态演化模式：激活性持续迭代直至**收敛到稳态**，然后才推进到下一步（Mozer et al., 2026）。

## 在 Mozer et al. 图 5d 中的体现

全循环（Fully Recurrent）模型中：
- 每步输入一个 token
- 在 t 步，所有 1 ~ t-1 步的层持续从深层向浅层发送信号
- **只有当所有前序步骤收敛后，当前步骤才算完成**

## 与简单循环的区别

| 简单循环 | 吸引子动力学 |
|----------|------------|
| 固定步数迭代 | 迭代至收敛 |
| 输出可能偏离稳态 | 输出在稳态附近 |
| 计算成本可预测 | 计算成本可变 |

## 潜在优势

1. **自然的多步推理**：不需要显式指定思考步数
2. **能量函数解释**：类似 Hopfield 网络的能量最小化视角
3. **与人类认知对齐**：人脑的许多过程是到稳态的动力学（如感知决策）

## 挑战

- **训练困难**：需要 Truncated BPTT 或循环反向传播（Almeida, 1987; Pineda, 1987; Liao et al., 2018）
- **收敛时间不可预测**：推理延迟不确定

## 参考

- [[recurrent-transformer-architectures|循环 Transformer 架构]]
- [[latent-thought-models|隐式思考模型]]
- [[state-tracking|状态追踪]]
- [[mozer-topological-trouble-transformers-2026]]