1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| 状态追踪 (State Tracking) | 2026-06-18 | 2026-06-18 | concept |
|
|
状态追踪 (State Tracking)
状态追踪指迭代更新反映变化环境的潜变量的过程。这是语言理解和推理的核心能力——追踪不断变化的世界状态、参数结构和社交互动。
核心机制
与 Transformer 的上下文检索不同，状态追踪要求（Mozer et al., 2026）：
- 迭代更新：
s_t = f(s_{t-1}, x_t)，新状态依赖前序状态 - 顺序依赖：无法完全并行化，存在本质的串行瓶颈
- 压缩表示：将历史信息持续压缩到紧凑的信念状态中
典型失败模式
- Twenty Questions 不一致：模型无法维持一致的隐藏数字范围
- 多义词翻转 (bank flip-flop)：对 "bank" 的解释在 river bank → money bank 之间无意识切换
- 多轮对话失去连贯性（Laban et al., 2025）
- 多智能体通信崩溃（Davidson et al., 2025）
与前馈架构的冲突
前馈 Transformer 的拓扑结构天然限制了状态追踪（见 feedforward-depth-limitation）：状态被迫逐层上移，最终耗尽模型深度。
人类认知对比
人类通过动态系统隐式维护状态（无意识、自动化的微认知），而不是像 Chain-of-Thought 那样显式写出思维轨迹。