38 lines
1.6 KiB
Markdown
38 lines
1.6 KiB
Markdown
---
|
||
title: "Position-wise Conditional Acceptance"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [speculative-decoding, evaluation-metric, analysis]
|
||
sources: [DSpark]
|
||
---
|
||
# Position-wise Conditional Acceptance
|
||
|
||
逐位置条件接受率是 [[DSpark]] 论文引入的细粒度草稿质量分析度量。与标准的接受长度不同，该指标**移除前缀惩罚**，仅测量每个位置本身的预测质量。
|
||
|
||
## 定义
|
||
|
||
对于草稿位置 $k$，评估分母仅计入**所有前驱 token $1:k-1$ 均被目标模型接受**的实例。分子则统计这些有效实例中位置 $k$ 的 token 也被接受的比例。
|
||
|
||
$$\text{cond_acc}(k) = \frac{\#\{\text{accept}_{1:k}\}}{\#\{\text{accept}_{1:k-1}\}}$$
|
||
|
||
## 洞察
|
||
|
||
这一度量揭示了不同草稿架构的结构性差异（以 Qwen3-4B 为例）：
|
||
|
||
| 场景 | 并行 DFlash | 自回归 Eagle3 | 半自回归 DSpark |
|
||
|------|-----------|-------------|---------------|
|
||
| 位置 1 (Math) | ~0.88 | ~0.81 | ~0.88 |
|
||
| 位置 7 (Chat) | ~0.52 | ~0.58 | ~0.62 |
|
||
|
||
- **并行草稿器**：位置 1 高（深网络容量）→ 后续快速衰减（独立预测，[[cross-mode-collision|跨模态碰撞（Cross-Mode Collision）]]）
|
||
- **自回归草稿器**：位置 1 低（浅网络容量）→ 后续维持或上升（条件化于已采样 token）
|
||
- **DSpark**：继承了并行草稿器的高初始能力 + 顺序头遏制后缀衰减
|
||
|
||
## 参考
|
||
|
||
- [[DSpark]]
|
||
- [[parallel-drafting|并行草稿（Parallel Drafting）]]
|
||
- [[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]
|
||
- [[cross-mode-collision|跨模态碰撞（Cross-Mode Collision）]]
|