---
title: "Cross-Mode Collision"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [speculative-decoding, parallel-generation, quality-degradation]
sources: [DSpark]
---
# Cross-Mode Collision

跨模态碰撞是[[parallel-drafting|并行草稿（Parallel Drafting）]]的固有缺陷：当并行草稿器独立预测块内每个位置的 token 时，各位置边缘化所有可能的前驱分布，而非条件化于实际采样的 token，导致产生不一致的 token 序列。

## 典型示例

上下文 "Let's..." 允许多种延续：
- 路径 A: "Let's go to the"
- 路径 B: "Let me think about"

并行草稿器可能产生：
- "Let's me to the"（混合了路径 A 和 B）
- "Let go think about"（同样不连贯）

## 根本原因

每个位置 $k$ 的边缘分布 $p_k^d(x_k)$ 在所有可能的 $x_{k-1}$ 上求期望，但草稿阶段没有已确定的 $x_{k-1}$。一旦某些 token 采样了特定语义路径，后续 token 却无法利用这一已确定的方向。

## 后果

导致**后缀接受率衰减（suffix decay）**：DSpark 论文的逐位置分析显示，并行草稿器（DFlash）在 Chat 场景从位置 1 的 ~0.72 条件接受率降至位置 7 的 ~0.52，而自回归草稿器（Eagle3）反而从 ~0.53 升至 ~0.58。

## 缓解方法

- [[semi-autoregressive-generation|半自回归生成（Semi-Autoregressive Generation）]]（DSpark）：通过轻量级顺序块注入块内依赖
- [[markov-draft-head|马尔可夫草稿头（Markov Draft Head）]]：一阶转移偏置，如 "of" 后提升 "course" 抑制 "problem"
- [[rnn-draft-head|RNN 草稿头]]：循环状态累积完整前缀历史

## 参考

- [[DSpark]]
- [[parallel-drafting|并行草稿（Parallel Drafting）]]
- [[semi-autoregressive-generation|半自回归生成（Semi-Autoregressive Generation）]]