34 lines
1.8 KiB
Markdown
34 lines
1.8 KiB
Markdown
---
|
||
title: "Confidence-Scheduled Verification"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [speculative-decoding, llm-inference, dynamic-scheduling]
|
||
sources: [DSpark]
|
||
---
|
||
# Confidence-Scheduled Verification
|
||
|
||
置信度调度验证是 [[DSpark]] 提出的动态验证长度选择机制，用[[confidence-head|置信度头（Confidence Head）]]估计每个草稿位置的前缀存活概率，再由[[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]基于实时系统负载动态裁剪低置信度后缀 token。
|
||
|
||
## 问题动机
|
||
|
||
固定长度验证存在两大浪费源：
|
||
|
||
1. **数据侧**：不同领域的接受率天然不同——结构化任务（代码、数学）的接受率远高于开放式对话，静态验证长度无法适配
|
||
2. **系统侧**：轻负载下额外验证代价极小，但高并发下每次无意义验证都挤占目标模型的批容量，降低整体吞吐量
|
||
|
||
## 两组件协同
|
||
|
||
- **置信度头**：$c_k = \sigma(w^\top [h_k; W_1[x_{k-1}]])$，预测位置 $k$ 的条件存活概率 $P(\text{accept}_k | \text{accept}_{1:k-1})$
|
||
- **前缀调度器**：将验证长度选择形式化为全局吞吐量最大化问题 $\Theta = \tau \cdot \text{SPS}(B)$，通过贪心排序+早停实现严格因果的 lossless 调度
|
||
|
||
## 校准
|
||
|
||
神经网络的置信度估计常存在过自信偏差。DSpark 引入**顺序温度缩放（[[sequential-temperature-scaling|Sequential Temperature Scaling]]）**：利用链式法则 $\prod_{i \le k} c_i$，从左到右逐位置进行 1D 网格搜索最小化累积乘积的 ECE，保持分数排序不变的同时修正绝对幅度。
|
||
|
||
## 参考
|
||
|
||
- [[DSpark]]
|
||
- [[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]
|
||
- [[confidence-head|置信度头（Confidence Head）]]
|