20260429:一些新东西

This commit is contained in:
2026-04-29 16:28:13 +08:00
parent 0b1535dfaf
commit 56c4d3ef7c
70 changed files with 2798 additions and 3 deletions

View File

@@ -0,0 +1,13 @@
# SeerAttention
**可学习稀疏注意力**,通过预测注意力稀疏模式实现高效的动态稀疏计算。
## 核心机制
训练一个小型预测网络来预估每个 Q 头需要关注哪些 K 位置,在推理时只计算预测的热点区域。
## 相关概念
- [[sparse-attention-patterns]] — 稀疏注意力全景
- [[native-sparse-attention]] — NSA 对比
- [[llm-attention-survey-2026]] — 综述参考