1.9 KiB
1.9 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Parallel Drafting | 2026-06-28 | 2026-06-28 | concept |
|
|
Parallel Drafting
并行草稿（Parallel Drafting）是speculative-decoding中草稿模型的一种架构范式：所有 \gamma 个草稿位置在单次前向传播中同时生成，使草稿延迟 T_{draft} 几乎独立于块大小。这与autoregressive-drafting形成鲜明对比——后者的 $T_{draft} \propto \gamma$。
核心优势
O(1) 的草稿延迟允许并行草稿器使用更深的网络架构和更大的候选块（如 $\gamma=16$），而不按比例增加延迟。在第一个草稿位置上，更深网络带来的容量优势产生了显著的准确率差距——而第一个 token 的接受率对整个块的期望接受长度影响最大（前缀接受机制）。
核心缺陷
缺乏 token 间依赖建模：每个位置独立预测，无法条件化于同块内先前采样的 token。当上下文允许多种合理延续时（如 "of course" 和 "no problem"），可能产生"of problem"或"no course"等不一致组合，即cross-mode-collision。
这导致了后缀接受率衰减（suffix decay）：接受率从位置 1 的高起点快速下降到后面位置的低谷（如 Chat 场景从 ~0.72 降到 ~0.52），而自回归草稿器反而在后续位置维持或上升。
代表方法
| 方法 | 关键机制 |
|---|---|
| DFlash | [[kv-injection |
| Medusa | 多个独立草稿头，无需额外草稿模型 |
| DSpark | 半自回归：并行骨干 + 轻量级顺序头 |
参考
- DSpark — 通过半自回归解决后缀衰减
- cross-mode-collision