# Lost in the Middle

**长上下文信息丢失现象**，LLM 在处理长上下文时对中间位置的信息利用效率最低。

## 核心发现

Liu 等 (2024) 发现 LLM 的注意力呈 **U 形分布**：
- 开头 Token 获得最多关注（primacy bias）
- 结尾 Token 获得次多关注（recency bias）  
- **中间 Token 被系统性忽略**

## 影响

- 将关键信息放在 Prompt 中间位置可能导致模型"看不到"
- 多文档 QA 任务中，中间文档的信息利用效率显著低于首尾
- 随上下文增长，中间区域的"注意力盲区"扩大

## 缓解方案

- [[attention-sinks|Attention Sinks]]: 利用注意力汇锚定上下文
- [[duo-attention|DuoAttention]]: 区分检索头和流式头
- Prompt 工程: 将关键信息放在开头或结尾

## 相关概念

- [[attention-entropy-collapse]] — 注意力退化加剧此现象
- [[attention-sinks]] — 缓解方案
- [[duo-attention]] — 架构层面的解决思路
- [[llm-attention-survey-2026]] — 综述参考