20260625:很多新内容

concepts/attractor-dynamics.md

@@ -0,0 +1,46 @@
+---
+title: "吸引子动力学 (Attractor Dynamics)"
+created: 2026-06-18
+updated: 2026-06-18
+type: concept
+tags: [dynamical-systems, recurrence, transformers, convergence]
+sources:
+  - mozer-topological-trouble-transformers-2026
+---
+
+# 吸引子动力学 (Attractor Dynamics)
+
+吸引子动力学是循环网络中的一种状态演化模式：激活性持续迭代直至**收敛到稳态**，然后才推进到下一步（Mozer et al., 2026）。
+
+## 在 Mozer et al. 图 5d 中的体现
+
+全循环（Fully Recurrent）模型中：
+- 每步输入一个 token
+- 在 t 步，所有 1 ~ t-1 步的层持续从深层向浅层发送信号
+- **只有当所有前序步骤收敛后，当前步骤才算完成**
+
+## 与简单循环的区别
+
+| 简单循环 | 吸引子动力学 |
+|----------|------------|
+| 固定步数迭代 | 迭代至收敛 |
+| 输出可能偏离稳态 | 输出在稳态附近 |
+| 计算成本可预测 | 计算成本可变 |
+
+## 潜在优势
+
+1. **自然的多步推理**：不需要显式指定思考步数
+2. **能量函数解释**：类似 Hopfield 网络的能量最小化视角
+3. **与人类认知对齐**：人脑的许多过程是到稳态的动力学（如感知决策）
+
+## 挑战
+
+- **训练困难**：需要 Truncated BPTT 或循环反向传播（Almeida, 1987; Pineda, 1987; Liao et al., 2018）
+- **收敛时间不可预测**：推理延迟不确定
+
+## 参考
+
+- [[recurrent-transformer-architectures|循环 Transformer 架构]]
+- [[latent-thought-models|隐式思考模型]]
+- [[state-tracking|状态追踪]]
+- [[mozer-topological-trouble-transformers-2026]]