20260706:新增一些文章

concepts/DFlash.md

@@ -0,0 +1,38 @@
+---
+title: "DFlash"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [speculative-decoding, parallel-drafting, baseline-method]
+sources: [DSpark]
+---
+# DFlash
+
+DFlash（Chen et al., 2026）是最先进的[[parallel-drafting|并行草稿（Parallel Drafting）]]方法，也是 [[DSpark]] 采用的并行骨干。其核心创新是[[kv-injection|KV 注入（KV Injection）]]——从目标模型的选定层提取隐藏状态并注入草稿模型的每一层。
+
+## 架构
+
+- 草稿模型共享目标模型的嵌入层和 LM 头（均冻结）
+- 输入：一个锚点 token 的嵌入 + $\gamma$ 个 mask token 嵌入
+- 输出：所有 mask 位置的 logits（一次性并行生成）
+- 块内所有位置双向注意力到彼此和注入的目标上下文
+
+## 优势
+
+与自回归草稿器相比：
+- 草稿延迟 $O(1)$，可使用更深网络（如 5 层 vs 1 层）
+- 在位置 1 上显著超过浅层自回归草稿器（深网络容量优势）
+
+## 局限
+
+与所有并行草稿器一样，存在[[cross-mode-collision|跨模态碰撞（Cross-Mode Collision）]]导致的后缀接受率衰减。
+
+## 在 DSpark 框架中的角色
+
+DSpark 将 DFlash 作为并行骨干，仅做微小修改：将锚点本身也作为第一个预测位置，$\gamma$ 个输入（锚点 + $\gamma-1$ 个 mask）直接产生 $\gamma$ 个草稿 logits，减少草稿计算。
+
+## 参考
+
+- [[DSpark]]
+- [[parallel-drafting|并行草稿（Parallel Drafting）]]
+- [[kv-injection|KV 注入（KV Injection）]]