1.7 KiB
1.7 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Confidence Head | 2026-06-28 | 2026-06-28 | concept |
|
|
Confidence Head
置信度头是 DSpark 中用于预测每个草稿位置条件存活概率的轻量级模块。其输出直接驱动hardware-aware-prefix-scheduler的验证长度决策。
架构
c_k = \sigma\left(w^\top [h_k; W_1[x_{k-1}]]\right)
- $h_k$：并行骨干在位置
k的隐藏状态 - $W_1[x_{k-1}]$：前一个草稿 token 的马尔可夫嵌入
- $\sigma$：sigmoid，将输出压缩到
(0,1)
监督信号
训练目标 c_k 逼近解析接受率 $c_k^*$，后者由草稿分布 p_k^d 与目标分布 p_k^t 的总变差距离决定：
c_k^* = 1 - \frac{1}{2} \|p_k^d - p_k^t\|_1
校准：顺序温度缩放（STS）
原始置信度估计常存在过自信偏差（平均 ECE 3%-8%）。sequential-temperature-scaling 逐位置进行 1D 网格搜索，最小化累积乘积 \prod_{i \le k} c_i 的 ECE，将平均 ECE 降至 ~1%。
温度缩放是保序变换——修正概率幅度但不扰乱草稿 token 的相对排序。
与静态阈值方法的区别
静态阈值方法（如直接拒绝 c_k < \theta 的 token）只需要置信度分数的相对排序。DSpark 的硬件感知调度器需要累积存活概率的绝对幅度来计算期望接受长度 $\tau$，因此必须校准。