20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,37 @@
---
title: "Position-wise Conditional Acceptance"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [speculative-decoding, evaluation-metric, analysis]
sources: [DSpark]
---
# Position-wise Conditional Acceptance
逐位置条件接受率是 [[DSpark]] 论文引入的细粒度草稿质量分析度量。与标准的接受长度不同,该指标**移除前缀惩罚**,仅测量每个位置本身的预测质量。
## 定义
对于草稿位置 $k$,评估分母仅计入**所有前驱 token $1:k-1$ 均被目标模型接受**的实例。分子则统计这些有效实例中位置 $k$ 的 token 也被接受的比例。
$$\text{cond_acc}(k) = \frac{\#\{\text{accept}_{1:k}\}}{\#\{\text{accept}_{1:k-1}\}}$$
## 洞察
这一度量揭示了不同草稿架构的结构性差异(以 Qwen3-4B 为例):
| 场景 | 并行 DFlash | 自回归 Eagle3 | 半自回归 DSpark |
|------|-----------|-------------|---------------|
| 位置 1 (Math) | ~0.88 | ~0.81 | ~0.88 |
| 位置 7 (Chat) | ~0.52 | ~0.58 | ~0.62 |
- **并行草稿器**:位置 1 高(深网络容量)→ 后续快速衰减(独立预测,[[cross-mode-collision|跨模态碰撞Cross-Mode Collision]]
- **自回归草稿器**:位置 1 低(浅网络容量)→ 后续维持或上升(条件化于已采样 token
- **DSpark**:继承了并行草稿器的高初始能力 + 顺序头遏制后缀衰减
## 参考
- [[DSpark]]
- [[parallel-drafting|并行草稿Parallel Drafting]]
- [[autoregressive-drafting|自回归草稿Autoregressive Drafting]]
- [[cross-mode-collision|跨模态碰撞Cross-Mode Collision]]