20260706:新增一些文章

papers/DSpark.md

@@ -0,0 +1,52 @@
+---
+title: "DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation"
+created: 2026-06-28
+source: https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf
+authors: "Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong, Yi Qian, Jiaqi Zhu, Shirong Ma, Xiaokang Zhang, Jiasheng Ye, Qinyu Chen, Chengqi Deng, Jiping Yu, Damai Dai, Zhengyan Zhang, Yixuan Wei, Yixuan Tan, Wenkai Yang, Runxin Xu, Yu Wu, Zhean Xu, Xuanyu Wang, Muyang Chen, Rui Tian, Xiao Bi, Zhewen Hao, Shaoyuan Chen, Huanqi Cao, Wentao Zhang, Anyi Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang"
+affiliations: "Peking University; DeepSeek-AI"
+year: 2026
+type: paper
+---
+# DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
+
+## 元数据
+
+- **作者**: Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong 等（北京大学 & DeepSeek-AI）
+- **来源**: DeepSeek DeepSpec Repository
+- **发表年份**: 2026
+- **论文链接**: https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf
+- **代码**: DeepSpec (https://github.com/deepseek-ai/DeepSpec) — 含 DSpark, Eagle3, DFlash checkpoints
+
+## 摘要
+
+DSpark 是一个投机解码框架，统一了高吞吐量并行生成和自适应负载感知验证。算法层面，采用半自回归架构——耦合并行骨干与轻量级顺序模块——引入块内依赖建模以缓解后缀衰减。系统层面，采用置信度调度验证，基于估计的前缀存活概率和引擎吞吐量曲线动态为每个请求定制验证长度。
+
+离线基准测试中，DSpark 显著超越最先进的自回归和并行草稿器（Qwen3-{4B,8B,14B} 上相对 Eagle3 提升 26.7%-30.9%，相对 DFlash 提升 16.3%-18.3%）。在 DeepSeek-V4 服务系统的生产部署中，相比 MTP-1 基线，DSpark 在匹配吞吐量下加速每用户生成速度 60%-85%，并在严格交互约束下将服务 Pareto 前沿整体外移。
+
+## 核心贡献
+
+1. **半自回归生成（Section 3.1）**：并行骨干（DFlash）处理大批量草稿计算保持 $O(1)$ 延迟，轻量级顺序块（Markov head / RNN head）注入 token 间依赖以缓解[[cross-mode-collision|跨模态碰撞（Cross-Mode Collision）]]和后缀接受率衰减
+
+2. **置信度调度验证（Section 3.2）**：置信度头估计每个位置的条件存活概率 $c_k$，硬件感知前缀调度器将验证长度选择形式化为全局吞吐量最大化问题 $\Theta = \tau \cdot \text{SPS}(B)$，通过贪心排序 + 早停实现严格因果的 lossless 调度
+
+3. **顺序温度缩放（STS）**：逐位置校准累积存活概率 $\prod c_i$ 的 ECE，将置信度估计从 3%-8% ECE 降至 ~1%，保持排序不变的同时修正绝对幅度
+
+4. **生产部署验证（Section 5）**：DeepSeek-V4-Flash/Pro 的 real traffic 评估，轻负载时自动扩展验证预算至 4-6 token，高并发时自动收缩，将服务 Pareto 前沿外移
+
+## 关键结果
+
+| 目标模型 | vs Eagle3 | vs DFlash |
+|---------|-----------|----------|
+| Qwen3-4B | +30.9% | +16.3% |
+| Qwen3-8B | +26.7% | +18.4% |
+| Qwen3-14B | +30.0% | +18.3% |
+
+## 概念连接
+
+核心概念：[[speculative-decoding|投机解码（Speculative Decoding）]] → [[semi-autoregressive-generation|半自回归生成（Semi-Autoregressive Generation）]] → [[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]] → [[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]
+
+组件概念：[[markov-draft-head|马尔可夫草稿头（Markov Draft Head）]]、[[rnn-draft-head|RNN 草稿头]]、[[confidence-head|置信度头（Confidence Head）]]、[[sequential-temperature-scaling|Sequential Temperature Scaling]]
+
+基线概念：[[DFlash]]、[[Eagle3]]、[[MTP]]、[[parallel-drafting|并行草稿（Parallel Drafting）]]、[[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]
+
+分析概念：[[cross-mode-collision|跨模态碰撞（Cross-Mode Collision）]]、[[position-wise-conditional-acceptance|位置条件接受率（Position-wise Conditional Acceptance）]]、[[prefix-survival-probability|前缀存活概率（Prefix Survival Probability）]]、[[kv-injection|KV 注入（KV Injection）]]、[[pareto-frontier-llm-serving|Pareto Frontier (LLM Serving)]]