1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Cross-Mode Collision | 2026-06-28 | 2026-06-28 | concept |
|
|
Cross-Mode Collision
跨模态碰撞是parallel-drafting的固有缺陷：当并行草稿器独立预测块内每个位置的 token 时，各位置边缘化所有可能的前驱分布，而非条件化于实际采样的 token，导致产生不一致的 token 序列。
典型示例
上下文 "Let's..." 允许多种延续：
- 路径 A: "Let's go to the"
- 路径 B: "Let me think about"
并行草稿器可能产生：
- "Let's me to the"（混合了路径 A 和 B）
- "Let go think about"（同样不连贯）
根本原因
每个位置 k 的边缘分布 p_k^d(x_k) 在所有可能的 x_{k-1} 上求期望，但草稿阶段没有已确定的 $x_{k-1}$。一旦某些 token 采样了特定语义路径，后续 token 却无法利用这一已确定的方向。
后果
导致后缀接受率衰减（suffix decay）：DSpark 论文的逐位置分析显示，并行草稿器（DFlash）在 Chat 场景从位置 1 的 ~0.72 条件接受率降至位置 7 的 ~0.52，而自回归草稿器（Eagle3）反而从 ~0.53 升至 ~0.58。
缓解方法
- semi-autoregressive-generation（DSpark）：通过轻量级顺序块注入块内依赖
- markov-draft-head：一阶转移偏置，如 "of" 后提升 "course" 抑制 "problem"
- rnn-draft-head：循环状态累积完整前缀历史