47 lines
1.6 KiB
Markdown
47 lines
1.6 KiB
Markdown
---
|
||
title: "吸引子动力学 (Attractor Dynamics)"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: [dynamical-systems, recurrence, transformers, convergence]
|
||
sources:
|
||
- mozer-topological-trouble-transformers-2026
|
||
---
|
||
|
||
# 吸引子动力学 (Attractor Dynamics)
|
||
|
||
吸引子动力学是循环网络中的一种状态演化模式：激活性持续迭代直至**收敛到稳态**，然后才推进到下一步（Mozer et al., 2026）。
|
||
|
||
## 在 Mozer et al. 图 5d 中的体现
|
||
|
||
全循环（Fully Recurrent）模型中：
|
||
- 每步输入一个 token
|
||
- 在 t 步，所有 1 ~ t-1 步的层持续从深层向浅层发送信号
|
||
- **只有当所有前序步骤收敛后，当前步骤才算完成**
|
||
|
||
## 与简单循环的区别
|
||
|
||
| 简单循环 | 吸引子动力学 |
|
||
|----------|------------|
|
||
| 固定步数迭代 | 迭代至收敛 |
|
||
| 输出可能偏离稳态 | 输出在稳态附近 |
|
||
| 计算成本可预测 | 计算成本可变 |
|
||
|
||
## 潜在优势
|
||
|
||
1. **自然的多步推理**：不需要显式指定思考步数
|
||
2. **能量函数解释**：类似 Hopfield 网络的能量最小化视角
|
||
3. **与人类认知对齐**：人脑的许多过程是到稳态的动力学（如感知决策）
|
||
|
||
## 挑战
|
||
|
||
- **训练困难**：需要 Truncated BPTT 或循环反向传播（Almeida, 1987; Pineda, 1987; Liao et al., 2018）
|
||
- **收敛时间不可预测**：推理延迟不确定
|
||
|
||
## 参考
|
||
|
||
- [[recurrent-transformer-architectures|循环 Transformer 架构]]
|
||
- [[latent-thought-models|隐式思考模型]]
|
||
- [[state-tracking|状态追踪]]
|
||
- [[mozer-topological-trouble-transformers-2026]]
|