44 lines
1.8 KiB
Markdown
44 lines
1.8 KiB
Markdown
---
|
||
title: "前馈深度局限 (Feedforward Depth Limitation)"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: [transformers, architecture, depth]
|
||
sources:
|
||
- mozer-topological-trouble-transformers-2026
|
||
---
|
||
|
||
# 前馈深度局限 (Feedforward Depth Limitation)
|
||
|
||
前馈深度局限是指**纯前馈架构无法无限追踪状态更新**的根本性限制（Mozer et al., 2026）。
|
||
|
||
## 为什么发生
|
||
|
||
在 Transformer 解码器中，激活从浅层流向深层：
|
||
1. 每一步的状态更新 `s_t = f(s_{t-1}, x_t)` 将新的状态表示推到更深的层
|
||
2. 经过 t 步后，s_t 位于第 t 层附近——浅层无法访问
|
||
3. 当 t > 层数时，模型"耗尽"深度，状态追踪崩溃
|
||
|
||
## 实际影响
|
||
|
||
- **深度瓶颈**：Merrill & Sabharwal (2025) 证明需要 O(log n) 层来识别长度为 n 的正则语言，且这只是"可构造性"而非"可学习性"
|
||
- **信息不可及性**：Lepori et al. (2025) 通过 Patchscopes 发现，多义词消歧在深层完成，但浅层在生成响应时仍使用未消歧的表示
|
||
- **级联误差**：深层的正确信念（如 river bank）无法传递给后续 token 的浅层处理
|
||
|
||
## 变通方案及其代价
|
||
|
||
1. **Chain-of-Thought**：将深层表示外化为 token，重新注入浅层——但浪费计算和上下文窗口
|
||
2. **Latent Thinking**：隐式地循环传递——但效率问题仍存
|
||
3. **可变深度模型**：动态调节层数——但本质上仍受深度限制
|
||
|
||
## 解决方向
|
||
|
||
真正的解决方案需要**循环架构**（[[recurrent-transformer-architectures|循环 Transformer 架构]]），允许任意长度的状态传播。
|
||
|
||
## 参考
|
||
|
||
- [[state-tracking|状态追踪]]
|
||
- [[depth-dilemma|深度困境]]
|
||
- [[sequential-dependency|顺序依赖]]
|
||
- [[mozer-topological-trouble-transformers-2026]]
|