---
title: "Token Position-Decay (TPD)"
created: 2026-06-05
updated: 2026-06-05
type: concept
tags: [sparse-attention, position, budget, causal]
sources: [[niu-stem-causal-sparse-attention]]
---

# Token Position-Decay (TPD)

**Token Position-Decay** 是 [[stem-sparse-attention|Stem]] 框架的第一个核心组件，解决了传统稀疏注意力**统一 top-k 预算分配**的根本缺陷。

## 核心机制

传统方法：一层内所有 token 位置共享相同的稀疏预算 k。  
TPD：稀疏预算随 token 位置**指数衰减**——前面的 token 保留更多，后面的激进稀疏化。

```
k_i = k_max × exp(-λ × i)
```

其中 i 是 token 位置，λ 控制衰减速度。

## 为什么需要位置衰减

由 [[causal-information-flow|因果信息流]] 理论驱动：
- **茎 token**（位置 0~t）：V 向量参与几乎所有后续输出 → 需要更大的 k 来保护信号完整性
- **叶 token**（位置 >t）：V 向量仅影响局部 → 可以承受更高的稀疏率

均匀稀疏化将茎和叶同等对待 → 茎 token 被无差别剪枝 → 递归误差传播污染整个信号流（见 [[causal-information-flow|因果信息流]] 中的跨层递归分析）。

## 稀疏预算的定义

TPD 中的"稀疏预算"定义为 computed token pairs / full attention pairs 的比率：
- 位置 0：预算接近 100%（几乎保留所有前序 token）
- 位置 N：预算可能降至 10-20%（仅保留最近的关键 token）

Triton 的 [[block-sparse-attention|Block Sparse Attention]] 内核天然支持这种位置依赖的块级稀疏模式。

## 效果

- 总体稀疏预算与传统方法相同（总计算量不变）
- 但预算的**分配**从"均匀"变为"前重后轻"
- 在 RULER 和 LongBench 上以相同总体稀疏率获得显著更好的精度
- 对深层网络（32+ 层）效果尤佳——递归误差积累在深层更严重