43 lines
1.6 KiB
Markdown
43 lines
1.6 KiB
Markdown
---
|
||
title: "状态追踪 (State Tracking)"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: [transformers, recurrence, state]
|
||
sources:
|
||
- mozer-topological-trouble-transformers-2026
|
||
---
|
||
|
||
# 状态追踪 (State Tracking)
|
||
|
||
状态追踪指**迭代更新反映变化环境的潜变量**的过程。这是语言理解和推理的核心能力——追踪不断变化的世界状态、参数结构和社交互动。
|
||
|
||
## 核心机制
|
||
|
||
与 Transformer 的**上下文检索**不同，状态追踪要求（Mozer et al., 2026）：
|
||
- **迭代更新**：`s_t = f(s_{t-1}, x_t)`，新状态依赖前序状态
|
||
- **顺序依赖**：无法完全并行化，存在本质的串行瓶颈
|
||
- **压缩表示**：将历史信息持续压缩到紧凑的信念状态中
|
||
|
||
## 典型失败模式
|
||
|
||
1. **Twenty Questions 不一致**：模型无法维持一致的隐藏数字范围
|
||
2. **多义词翻转 (bank flip-flop)**：对 "bank" 的解释在 river bank → money bank 之间无意识切换
|
||
3. **多轮对话失去连贯性**（Laban et al., 2025）
|
||
4. **多智能体通信崩溃**（Davidson et al., 2025）
|
||
|
||
## 与前馈架构的冲突
|
||
|
||
前馈 Transformer 的拓扑结构**天然限制**了状态追踪（见 [[feedforward-depth-limitation|前馈深度局限]]）：状态被迫逐层上移，最终耗尽模型深度。
|
||
|
||
## 人类认知对比
|
||
|
||
人类通过**动态系统**隐式维护状态（无意识、自动化的微认知），而不是像 Chain-of-Thought 那样显式写出思维轨迹。
|
||
|
||
## 参考
|
||
|
||
- [[mozer-topological-trouble-transformers-2026|Mozer et al. 2026]]
|
||
- [[belief-state|信念状态]]
|
||
- [[depth-dilemma|深度困境]]
|
||
- [[sequential-dependency|顺序依赖]]
|