42 lines
1.7 KiB
Markdown
42 lines
1.7 KiB
Markdown
---
|
||
title: "Confidence Head"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [speculative-decoding, confidence-estimation, neural-calibration]
|
||
sources: [DSpark]
|
||
---
|
||
# Confidence Head
|
||
|
||
置信度头是 [[DSpark]] 中用于预测每个草稿位置**条件存活概率**的轻量级模块。其输出直接驱动[[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]的验证长度决策。
|
||
|
||
## 架构
|
||
|
||
$$c_k = \sigma\left(w^\top [h_k; W_1[x_{k-1}]]\right)$$
|
||
|
||
- $h_k$：并行骨干在位置 $k$ 的隐藏状态
|
||
- $W_1[x_{k-1}]$：前一个草稿 token 的马尔可夫嵌入
|
||
- $\sigma$：sigmoid，将输出压缩到 $(0,1)$
|
||
|
||
## 监督信号
|
||
|
||
训练目标 $c_k$ 逼近解析接受率 $c_k^*$，后者由草稿分布 $p_k^d$ 与目标分布 $p_k^t$ 的总变差距离决定：
|
||
|
||
$$c_k^* = 1 - \frac{1}{2} \|p_k^d - p_k^t\|_1$$
|
||
|
||
## 校准：顺序温度缩放（STS）
|
||
|
||
原始置信度估计常存在过自信偏差（平均 ECE 3%-8%）。[[sequential-temperature-scaling|Sequential Temperature Scaling]] 逐位置进行 1D 网格搜索，最小化累积乘积 $\prod_{i \le k} c_i$ 的 ECE，将平均 ECE 降至 ~1%。
|
||
|
||
温度缩放是保序变换——修正概率幅度但不扰乱草稿 token 的相对排序。
|
||
|
||
## 与静态阈值方法的区别
|
||
|
||
静态阈值方法（如直接拒绝 $c_k < \theta$ 的 token）只需要置信度分数的相对排序。DSpark 的硬件感知调度器需要累积存活概率的**绝对幅度**来计算期望接受长度 $\tau$，因此必须校准。
|
||
|
||
## 参考
|
||
|
||
- [[DSpark]]
|
||
- [[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]]
|
||
- [[sequential-temperature-scaling|Sequential Temperature Scaling]]
|