4.2 KiB
title, created, source, authors, affiliations, year, type
| title | created | source | authors | affiliations | year | type |
|---|---|---|---|---|---|---|
| DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation | 2026-06-28 | https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf | Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong, Yi Qian, Jiaqi Zhu, Shirong Ma, Xiaokang Zhang, Jiasheng Ye, Qinyu Chen, Chengqi Deng, Jiping Yu, Damai Dai, Zhengyan Zhang, Yixuan Wei, Yixuan Tan, Wenkai Yang, Runxin Xu, Yu Wu, Zhean Xu, Xuanyu Wang, Muyang Chen, Rui Tian, Xiao Bi, Zhewen Hao, Shaoyuan Chen, Huanqi Cao, Wentao Zhang, Anyi Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang | Peking University; DeepSeek-AI | 2026 | paper |
DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
元数据
- 作者: Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong 等（北京大学 & DeepSeek-AI）
- 来源: DeepSeek DeepSpec Repository
- 发表年份: 2026
- 论文链接: https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf
- 代码: DeepSpec (https://github.com/deepseek-ai/DeepSpec) — 含 DSpark, Eagle3, DFlash checkpoints
摘要
DSpark 是一个投机解码框架，统一了高吞吐量并行生成和自适应负载感知验证。算法层面，采用半自回归架构——耦合并行骨干与轻量级顺序模块——引入块内依赖建模以缓解后缀衰减。系统层面，采用置信度调度验证，基于估计的前缀存活概率和引擎吞吐量曲线动态为每个请求定制验证长度。
离线基准测试中，DSpark 显著超越最先进的自回归和并行草稿器（Qwen3-{4B,8B,14B} 上相对 Eagle3 提升 26.7%-30.9%，相对 DFlash 提升 16.3%-18.3%）。在 DeepSeek-V4 服务系统的生产部署中，相比 MTP-1 基线，DSpark 在匹配吞吐量下加速每用户生成速度 60%-85%，并在严格交互约束下将服务 Pareto 前沿整体外移。
核心贡献
-
半自回归生成（Section 3.1）：并行骨干（DFlash）处理大批量草稿计算保持
O(1)延迟，轻量级顺序块（Markov head / RNN head）注入 token 间依赖以缓解cross-mode-collision和后缀接受率衰减 -
置信度调度验证（Section 3.2）：置信度头估计每个位置的条件存活概率 $c_k$，硬件感知前缀调度器将验证长度选择形式化为全局吞吐量最大化问题 $\Theta = \tau \cdot \text{SPS}(B)$，通过贪心排序 + 早停实现严格因果的 lossless 调度
-
顺序温度缩放（STS）：逐位置校准累积存活概率
\prod c_i的 ECE，将置信度估计从 3%-8% ECE 降至 ~1%，保持排序不变的同时修正绝对幅度 -
生产部署验证（Section 5）：DeepSeek-V4-Flash/Pro 的 real traffic 评估，轻负载时自动扩展验证预算至 4-6 token，高并发时自动收缩，将服务 Pareto 前沿外移
关键结果
| 目标模型 | vs Eagle3 | vs DFlash |
|---|---|---|
| Qwen3-4B | +30.9% | +16.3% |
| Qwen3-8B | +26.7% | +18.4% |
| Qwen3-14B | +30.0% | +18.3% |
概念连接
核心概念：speculative-decoding → semi-autoregressive-generation → confidence-scheduled-verification → hardware-aware-prefix-scheduler
组件概念：markov-draft-head、rnn-draft-head、confidence-head、sequential-temperature-scaling
基线概念：DFlash、Eagle3、MTP、parallel-drafting、autoregressive-drafting
分析概念：cross-mode-collision、position-wise-conditional-acceptance、prefix-survival-probability、kv-injection、pareto-frontier-llm-serving