title, created, updated, type, tags, sources
| title |
created |
updated |
type |
tags |
sources |
| 吸引子动力学 (Attractor Dynamics) |
2026-06-18 |
2026-06-18 |
concept |
| dynamical-systems |
| recurrence |
| transformers |
| convergence |
|
| mozer-topological-trouble-transformers-2026 |
|
吸引子动力学 (Attractor Dynamics)
吸引子动力学是循环网络中的一种状态演化模式：激活性持续迭代直至收敛到稳态，然后才推进到下一步（Mozer et al., 2026）。
在 Mozer et al. 图 5d 中的体现
全循环（Fully Recurrent）模型中：
- 每步输入一个 token
- 在 t 步，所有 1 ~ t-1 步的层持续从深层向浅层发送信号
- 只有当所有前序步骤收敛后，当前步骤才算完成
与简单循环的区别
| 简单循环 |
吸引子动力学 |
| 固定步数迭代 |
迭代至收敛 |
| 输出可能偏离稳态 |
输出在稳态附近 |
| 计算成本可预测 |
计算成本可变 |
潜在优势
- 自然的多步推理：不需要显式指定思考步数
- 能量函数解释：类似 Hopfield 网络的能量最小化视角
- 与人类认知对齐：人脑的许多过程是到稳态的动力学（如感知决策）
挑战
- 训练困难：需要 Truncated BPTT 或循环反向传播（Almeida, 1987; Pineda, 1987; Liao et al., 2018）
- 收敛时间不可预测：推理延迟不确定
参考
