20260706:新增一些文章

concepts/speculative-decoding.md

@@ -0,0 +1,38 @@
+---
+title: "Speculative Decoding"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [llm-inference, acceleration, draft-then-verify]
+sources: []
+---
+# Speculative Decoding
+
+投机解码（Speculative Decoding）是一种加速大语言模型推理的范式，核心思想是将 token 生成解耦为**草稿生成（draft generation）**和**目标验证（target verification）**两个阶段。由一个轻量级草稿模型（draft model）一次性提议多个候选 token，再由完整的目标模型并行验证整个候选块，通过拒绝采样（rejection sampling）接受与目标分布一致的最长前缀，并追加一个 bonus token。
+
+因为验证是并行的且接受规则精确保持目标分布，投机解码在零质量损失的前提下实现加速。
+
+## 核心公式
+
+每轮解码的每 token 平均延迟：
+
+$$L = \frac{T_{draft} + T_{verify}}{\tau}$$
+
+其中 $\tau$ 为该轮被接受的 token 数。加速的关键杠杆有三个：降低 $T_{draft}$（更快草稿）、提高 $\tau$（更好草稿）、降低有效 $T_{verify}$（更智能验证）。
+
+## 草稿模型架构分类
+
+- **自回归草稿器（Autoregressive Drafter）**：逐 token 顺序生成，草稿延迟 $T_{draft} \propto \gamma$，迫使使用浅层网络和小块。代表：[[Eagle3]]、[[MTP]]
+- **并行草稿器（Parallel Drafter）**：一次前向生成全部 $\gamma$ 个候选 token，$T_{draft}$ 几乎与块大小无关，可支撑更深网络和更大块。代表：[[DFlash]]
+- **半自回归草稿器（Semi-Autoregressive Drafter）**：并行骨干 + 轻量级顺序头，兼顾速度和质量。代表：[[DSpark]]
+
+## 关键挑战
+
+1. **接受率衰减**：并行草稿器的独立预测导致跨模态碰撞（[[cross-mode-collision]]），后缀 token 接受率急剧下降
+2. **验证浪费**：固定长度验证在低置信度 token 上浪费目标模型计算，尤其在高并发场景下挤占批容量
+
+## 参考
+
+- [[DSpark]] — 置信度调度 + 半自回归的统一框架
+- [[DFlash]] — 基于 KV 注入的并行草稿器
+- [[Eagle3]] — 基于 TTT 的自回归草稿器