1015 B
1015 B
Lost in the Middle
长上下文信息丢失现象，LLM 在处理长上下文时对中间位置的信息利用效率最低。
核心发现
Liu 等 (2024) 发现 LLM 的注意力呈 U 形分布：
- 开头 Token 获得最多关注（primacy bias）
- 结尾 Token 获得次多关注（recency bias）
- 中间 Token 被系统性忽略
影响
- 将关键信息放在 Prompt 中间位置可能导致模型"看不到"
- 多文档 QA 任务中，中间文档的信息利用效率显著低于首尾
- 随上下文增长，中间区域的"注意力盲区"扩大
缓解方案
- attention-sinks: 利用注意力汇锚定上下文
- duo-attention: 区分检索头和流式头
- Prompt 工程: 将关键信息放在开头或结尾
相关概念
- attention-entropy-collapse — 注意力退化加剧此现象
- attention-sinks — 缓解方案
- duo-attention — 架构层面的解决思路
- llm-attention-survey-2026 — 综述参考