1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| DFlash | 2026-06-28 | 2026-06-28 | concept |
|
|
DFlash
DFlash（Chen et al., 2026）是最先进的parallel-drafting方法，也是 DSpark 采用的并行骨干。其核心创新是kv-injection——从目标模型的选定层提取隐藏状态并注入草稿模型的每一层。
架构
- 草稿模型共享目标模型的嵌入层和 LM 头（均冻结）
- 输入：一个锚点 token 的嵌入 +
\gamma个 mask token 嵌入 - 输出：所有 mask 位置的 logits（一次性并行生成）
- 块内所有位置双向注意力到彼此和注入的目标上下文
优势
与自回归草稿器相比：
- 草稿延迟 $O(1)$，可使用更深网络（如 5 层 vs 1 层）
- 在位置 1 上显著超过浅层自回归草稿器（深网络容量优势）
局限
与所有并行草稿器一样，存在cross-mode-collision导致的后缀接受率衰减。
在 DSpark 框架中的角色
DSpark 将 DFlash 作为并行骨干，仅做微小修改：将锚点本身也作为第一个预测位置，\gamma 个输入（锚点 + \gamma-1 个 mask）直接产生 \gamma 个草稿 logits，减少草稿计算。