1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Position-wise Conditional Acceptance | 2026-06-28 | 2026-06-28 | concept |
|
|
Position-wise Conditional Acceptance
逐位置条件接受率是 DSpark 论文引入的细粒度草稿质量分析度量。与标准的接受长度不同，该指标移除前缀惩罚，仅测量每个位置本身的预测质量。
定义
对于草稿位置 $k$，评估分母仅计入所有前驱 token 1:k-1 均被目标模型接受的实例。分子则统计这些有效实例中位置 k 的 token 也被接受的比例。
\text{cond_acc}(k) = \frac{\#\{\text{accept}_{1:k}\}}{\#\{\text{accept}_{1:k-1}\}}
洞察
这一度量揭示了不同草稿架构的结构性差异（以 Qwen3-4B 为例）：
| 场景 | 并行 DFlash | 自回归 Eagle3 | 半自回归 DSpark |
|---|---|---|---|
| 位置 1 (Math) | ~0.88 | ~0.81 | ~0.88 |
| 位置 7 (Chat) | ~0.52 | ~0.58 | ~0.62 |
- 并行草稿器：位置 1 高（深网络容量）→ 后续快速衰减（独立预测，cross-mode-collision）
- 自回归草稿器：位置 1 低（浅网络容量）→ 后续维持或上升（条件化于已采样 token）
- DSpark：继承了并行草稿器的高初始能力 + 顺序头遏制后缀衰减