30 lines
1015 B
Markdown
30 lines
1015 B
Markdown
# Lost in the Middle
|
||
|
||
**长上下文信息丢失现象**，LLM 在处理长上下文时对中间位置的信息利用效率最低。
|
||
|
||
## 核心发现
|
||
|
||
Liu 等 (2024) 发现 LLM 的注意力呈 **U 形分布**：
|
||
- 开头 Token 获得最多关注（primacy bias）
|
||
- 结尾 Token 获得次多关注（recency bias）
|
||
- **中间 Token 被系统性忽略**
|
||
|
||
## 影响
|
||
|
||
- 将关键信息放在 Prompt 中间位置可能导致模型"看不到"
|
||
- 多文档 QA 任务中，中间文档的信息利用效率显著低于首尾
|
||
- 随上下文增长，中间区域的"注意力盲区"扩大
|
||
|
||
## 缓解方案
|
||
|
||
- [[attention-sinks|Attention Sinks]]: 利用注意力汇锚定上下文
|
||
- [[duo-attention|DuoAttention]]: 区分检索头和流式头
|
||
- Prompt 工程: 将关键信息放在开头或结尾
|
||
|
||
## 相关概念
|
||
|
||
- [[attention-entropy-collapse]] — 注意力退化加剧此现象
|
||
- [[attention-sinks]] — 缓解方案
|
||
- [[duo-attention]] — 架构层面的解决思路
|
||
- [[llm-attention-survey-2026]] — 综述参考
|