myWiki/concepts/sequential-temperature-scaling.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Sequential Temperature Scaling	2026-06-28	2026-06-28	concept	neural-calibration confidence-estimation speculative-decoding	DSpark

Sequential Temperature Scaling

顺序温度缩放（STS）是 DSpark 提出的后校准方法，用于修正confidence-head的过自信偏差。与标准温度缩放在整个输出空间上学习单一温度参数不同，STS 利用投机解码的前缀接受结构逐位置校准。

方法

利用链式法则：前缀 1:k 被接受的联合概率 = $\prod_{i \le k} c_i$。STS 从左到右逐位置校准：

1. 从一个 held-out 验证集收集实际接受/拒绝标签
2. 在位置 $k$，保持前 k-1 个位置的已校准分数不变
3. 对位置 k 执行 1D 网格搜索，找到最小化累积乘积 ECE 的最优温度标量
4. 热启动下一位置

关键性质

保序性：温度缩放在 logit space 中是全局缩放 $\sigma(z/T)$，不改变 softmax 的排序。因此 STS 修正概率幅度以匹配经验接受率，但不扰乱置信度头学到的草稿 token 相对排序。

效果

DSpark 论文报告：原始置信度估计平均 ECE 为 3%-8%，经 STS 后降至 ~1%，为硬件感知前缀调度器提供可靠的存活概率估计。

参考

• DSpark
• confidence-head
• confidence-scheduled-verification