---
title: "Confidence Head"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [speculative-decoding, confidence-estimation, neural-calibration]
sources: [DSpark]
---
# Confidence Head

置信度头是 [[DSpark]] 中用于预测每个草稿位置**条件存活概率**的轻量级模块。其输出直接驱动[[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]的验证长度决策。

## 架构

$$c_k = \sigma\left(w^\top [h_k; W_1[x_{k-1}]]\right)$$

- $h_k$：并行骨干在位置 $k$ 的隐藏状态
- $W_1[x_{k-1}]$：前一个草稿 token 的马尔可夫嵌入
- $\sigma$：sigmoid，将输出压缩到 $(0,1)$

## 监督信号

训练目标 $c_k$ 逼近解析接受率 $c_k^*$，后者由草稿分布 $p_k^d$ 与目标分布 $p_k^t$ 的总变差距离决定：

$$c_k^* = 1 - \frac{1}{2} \|p_k^d - p_k^t\|_1$$

## 校准：顺序温度缩放（STS）

原始置信度估计常存在过自信偏差（平均 ECE 3%-8%）。[[sequential-temperature-scaling|Sequential Temperature Scaling]] 逐位置进行 1D 网格搜索，最小化累积乘积 $\prod_{i \le k} c_i$ 的 ECE，将平均 ECE 降至 ~1%。

温度缩放是保序变换——修正概率幅度但不扰乱草稿 token 的相对排序。

## 与静态阈值方法的区别

静态阈值方法（如直接拒绝 $c_k < \theta$ 的 token）只需要置信度分数的相对排序。DSpark 的硬件感知调度器需要累积存活概率的**绝对幅度**来计算期望接受长度 $\tau$，因此必须校准。

## 参考

- [[DSpark]]
- [[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]]
- [[sequential-temperature-scaling|Sequential Temperature Scaling]]