---
title: "Confidence-Scheduled Verification"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [speculative-decoding, llm-inference, dynamic-scheduling]
sources: [DSpark]
---
# Confidence-Scheduled Verification

置信度调度验证是 [[DSpark]] 提出的动态验证长度选择机制，用[[confidence-head|置信度头（Confidence Head）]]估计每个草稿位置的前缀存活概率，再由[[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]基于实时系统负载动态裁剪低置信度后缀 token。

## 问题动机

固定长度验证存在两大浪费源：

1. **数据侧**：不同领域的接受率天然不同——结构化任务（代码、数学）的接受率远高于开放式对话，静态验证长度无法适配
2. **系统侧**：轻负载下额外验证代价极小，但高并发下每次无意义验证都挤占目标模型的批容量，降低整体吞吐量

## 两组件协同

- **置信度头**：$c_k = \sigma(w^\top [h_k; W_1[x_{k-1}]])$，预测位置 $k$ 的条件存活概率 $P(\text{accept}_k | \text{accept}_{1:k-1})$
- **前缀调度器**：将验证长度选择形式化为全局吞吐量最大化问题 $\Theta = \tau \cdot \text{SPS}(B)$，通过贪心排序+早停实现严格因果的 lossless 调度

## 校准

神经网络的置信度估计常存在过自信偏差。DSpark 引入**顺序温度缩放（[[sequential-temperature-scaling|Sequential Temperature Scaling]]）**：利用链式法则 $\prod_{i \le k} c_i$，从左到右逐位置进行 1D 网格搜索最小化累积乘积的 ECE，保持分数排序不变的同时修正绝对幅度。

## 参考

- [[DSpark]]
- [[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]
- [[confidence-head|置信度头（Confidence Head）]]