18 lines
669 B
Markdown
18 lines
669 B
Markdown
# 注意力汇 (Attention Sinks)
|
||
|
||
占位符 — 待补充完整内容。
|
||
|
||
**核心概念**: 某些初始 Token（如 BOS）天然吸引大量注意力权重，可作为"注意力汇"稳定长序列推理。基于此可以设计高效的 KV 缓存淘汰策略（如 StreamingLLM、H2O）。
|
||
|
||
## 关键应用
|
||
|
||
- **StreamingLLM**: 保留初始 Attention Sinks + 最近 Token 实现无限长流式推理
|
||
- **H2O**: 基于注意力权重选择性地保留"重击者"Token 的 KV
|
||
- **SinkRouter**: 汇感知的路由优化
|
||
|
||
## 相关概念
|
||
|
||
- [[lost-in-the-middle]] — 问题背景
|
||
- [[kv-cache-bottleneck]] — 缓存优化
|
||
- [[llm-attention-survey-2026]] — 综述参考
|