39 lines
1.5 KiB
Markdown
39 lines
1.5 KiB
Markdown
---
|
||
title: "DFlash"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [speculative-decoding, parallel-drafting, baseline-method]
|
||
sources: [DSpark]
|
||
---
|
||
# DFlash
|
||
|
||
DFlash（Chen et al., 2026）是最先进的[[parallel-drafting|并行草稿（Parallel Drafting）]]方法，也是 [[DSpark]] 采用的并行骨干。其核心创新是[[kv-injection|KV 注入（KV Injection）]]——从目标模型的选定层提取隐藏状态并注入草稿模型的每一层。
|
||
|
||
## 架构
|
||
|
||
- 草稿模型共享目标模型的嵌入层和 LM 头（均冻结）
|
||
- 输入：一个锚点 token 的嵌入 + $\gamma$ 个 mask token 嵌入
|
||
- 输出：所有 mask 位置的 logits（一次性并行生成）
|
||
- 块内所有位置双向注意力到彼此和注入的目标上下文
|
||
|
||
## 优势
|
||
|
||
与自回归草稿器相比：
|
||
- 草稿延迟 $O(1)$，可使用更深网络（如 5 层 vs 1 层）
|
||
- 在位置 1 上显著超过浅层自回归草稿器（深网络容量优势）
|
||
|
||
## 局限
|
||
|
||
与所有并行草稿器一样，存在[[cross-mode-collision|跨模态碰撞（Cross-Mode Collision）]]导致的后缀接受率衰减。
|
||
|
||
## 在 DSpark 框架中的角色
|
||
|
||
DSpark 将 DFlash 作为并行骨干，仅做微小修改：将锚点本身也作为第一个预测位置，$\gamma$ 个输入（锚点 + $\gamma-1$ 个 mask）直接产生 $\gamma$ 个草稿 logits，减少草稿计算。
|
||
|
||
## 参考
|
||
|
||
- [[DSpark]]
|
||
- [[parallel-drafting|并行草稿（Parallel Drafting）]]
|
||
- [[kv-injection|KV 注入（KV Injection）]]
|