20260706:新增一些文章

concepts/cross-mode-collision.md

@@ -0,0 +1,41 @@
+---
+title: "Cross-Mode Collision"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [speculative-decoding, parallel-generation, quality-degradation]
+sources: [DSpark]
+---
+# Cross-Mode Collision
+
+跨模态碰撞是[[parallel-drafting|并行草稿（Parallel Drafting）]]的固有缺陷：当并行草稿器独立预测块内每个位置的 token 时，各位置边缘化所有可能的前驱分布，而非条件化于实际采样的 token，导致产生不一致的 token 序列。
+
+## 典型示例
+
+上下文 "Let's..." 允许多种延续：
+- 路径 A: "Let's go to the"
+- 路径 B: "Let me think about"
+
+并行草稿器可能产生：
+- "Let's me to the"（混合了路径 A 和 B）
+- "Let go think about"（同样不连贯）
+
+## 根本原因
+
+每个位置 $k$ 的边缘分布 $p_k^d(x_k)$ 在所有可能的 $x_{k-1}$ 上求期望，但草稿阶段没有已确定的 $x_{k-1}$。一旦某些 token 采样了特定语义路径，后续 token 却无法利用这一已确定的方向。
+
+## 后果
+
+导致**后缀接受率衰减（suffix decay）**：DSpark 论文的逐位置分析显示，并行草稿器（DFlash）在 Chat 场景从位置 1 的 ~0.72 条件接受率降至位置 7 的 ~0.52，而自回归草稿器（Eagle3）反而从 ~0.53 升至 ~0.58。
+
+## 缓解方法
+
+- [[semi-autoregressive-generation|半自回归生成（Semi-Autoregressive Generation）]]（DSpark）：通过轻量级顺序块注入块内依赖
+- [[markov-draft-head|马尔可夫草稿头（Markov Draft Head）]]：一阶转移偏置，如 "of" 后提升 "course" 抑制 "problem"
+- [[rnn-draft-head|RNN 草稿头]]：循环状态累积完整前缀历史
+
+## 参考
+
+- [[DSpark]]
+- [[parallel-drafting|并行草稿（Parallel Drafting）]]
+- [[semi-autoregressive-generation|半自回归生成（Semi-Autoregressive Generation）]]