---
title: "Sequential Temperature Scaling"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [neural-calibration, confidence-estimation, speculative-decoding]
sources: [DSpark]
---
# Sequential Temperature Scaling

顺序温度缩放（STS）是 [[DSpark]] 提出的后校准方法，用于修正[[confidence-head|置信度头（Confidence Head）]]的过自信偏差。与标准温度缩放在整个输出空间上学习单一温度参数不同，STS 利用投机解码的前缀接受结构**逐位置校准**。

## 方法

利用链式法则：前缀 $1:k$ 被接受的联合概率 = $\prod_{i \le k} c_i$。STS 从左到右逐位置校准：

1. 从一个 held-out 验证集收集实际接受/拒绝标签
2. 在位置 $k$，保持前 $k-1$ 个位置的已校准分数不变
3. 对位置 $k$ 执行 1D 网格搜索，找到最小化累积乘积 ECE 的最优温度标量
4. 热启动下一位置

## 关键性质

**保序性**：温度缩放在 logit space 中是全局缩放 $\sigma(z/T)$，不改变 softmax 的排序。因此 STS 修正概率幅度以匹配经验接受率，但不扰乱置信度头学到的草稿 token 相对排序。

## 效果

DSpark 论文报告：原始置信度估计平均 ECE 为 3%-8%，经 STS 后降至 ~1%，为硬件感知前缀调度器提供可靠的存活概率估计。

## 参考

- [[DSpark]]
- [[confidence-head|置信度头（Confidence Head）]]
- [[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]]