---
title: "DFlash"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [speculative-decoding, parallel-drafting, baseline-method]
sources: [DSpark]
---
# DFlash

DFlash（Chen et al., 2026）是最先进的[[parallel-drafting|并行草稿（Parallel Drafting）]]方法，也是 [[DSpark]] 采用的并行骨干。其核心创新是[[kv-injection|KV 注入（KV Injection）]]——从目标模型的选定层提取隐藏状态并注入草稿模型的每一层。

## 架构

- 草稿模型共享目标模型的嵌入层和 LM 头（均冻结）
- 输入：一个锚点 token 的嵌入 + $\gamma$ 个 mask token 嵌入
- 输出：所有 mask 位置的 logits（一次性并行生成）
- 块内所有位置双向注意力到彼此和注入的目标上下文

## 优势

与自回归草稿器相比：
- 草稿延迟 $O(1)$，可使用更深网络（如 5 层 vs 1 层）
- 在位置 1 上显著超过浅层自回归草稿器（深网络容量优势）

## 局限

与所有并行草稿器一样，存在[[cross-mode-collision|跨模态碰撞（Cross-Mode Collision）]]导致的后缀接受率衰减。

## 在 DSpark 框架中的角色

DSpark 将 DFlash 作为并行骨干，仅做微小修改：将锚点本身也作为第一个预测位置，$\gamma$ 个输入（锚点 + $\gamma-1$ 个 mask）直接产生 $\gamma$ 个草稿 logits，减少草稿计算。

## 参考

- [[DSpark]]
- [[parallel-drafting|并行草稿（Parallel Drafting）]]
- [[kv-injection|KV 注入（KV Injection）]]