myWiki/concepts/confidence-scheduled-verification.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Confidence-Scheduled Verification	2026-06-28	2026-06-28	concept	speculative-decoding llm-inference dynamic-scheduling	DSpark

Confidence-Scheduled Verification

置信度调度验证是 DSpark 提出的动态验证长度选择机制，用confidence-head估计每个草稿位置的前缀存活概率，再由hardware-aware-prefix-scheduler基于实时系统负载动态裁剪低置信度后缀 token。

问题动机

固定长度验证存在两大浪费源：

1. 数据侧：不同领域的接受率天然不同——结构化任务（代码、数学）的接受率远高于开放式对话，静态验证长度无法适配
2. 系统侧：轻负载下额外验证代价极小，但高并发下每次无意义验证都挤占目标模型的批容量，降低整体吞吐量

两组件协同

• 置信度头：$c_k = \sigma(w^\top [h_k; W_1[x_{k-1}]])$，预测位置 k 的条件存活概率 P(\text{accept}_k | \text{accept}_{1:k-1})
• 前缀调度器：将验证长度选择形式化为全局吞吐量最大化问题 $\Theta = \tau \cdot \text{SPS}(B)$，通过贪心排序+早停实现严格因果的 lossless 调度

校准

神经网络的置信度估计常存在过自信偏差。DSpark 引入顺序温度缩放（sequential-temperature-scaling）：利用链式法则 $\prod_{i \le k} c_i$，从左到右逐位置进行 1D 网格搜索最小化累积乘积的 ECE，保持分数排序不变的同时修正绝对幅度。

参考

• DSpark
• hardware-aware-prefix-scheduler
• confidence-head