35 lines
1.5 KiB
Markdown
35 lines
1.5 KiB
Markdown
---
|
||
title: "Sequential Temperature Scaling"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [neural-calibration, confidence-estimation, speculative-decoding]
|
||
sources: [DSpark]
|
||
---
|
||
# Sequential Temperature Scaling
|
||
|
||
顺序温度缩放（STS）是 [[DSpark]] 提出的后校准方法，用于修正[[confidence-head|置信度头（Confidence Head）]]的过自信偏差。与标准温度缩放在整个输出空间上学习单一温度参数不同，STS 利用投机解码的前缀接受结构**逐位置校准**。
|
||
|
||
## 方法
|
||
|
||
利用链式法则：前缀 $1:k$ 被接受的联合概率 = $\prod_{i \le k} c_i$。STS 从左到右逐位置校准：
|
||
|
||
1. 从一个 held-out 验证集收集实际接受/拒绝标签
|
||
2. 在位置 $k$，保持前 $k-1$ 个位置的已校准分数不变
|
||
3. 对位置 $k$ 执行 1D 网格搜索，找到最小化累积乘积 ECE 的最优温度标量
|
||
4. 热启动下一位置
|
||
|
||
## 关键性质
|
||
|
||
**保序性**：温度缩放在 logit space 中是全局缩放 $\sigma(z/T)$，不改变 softmax 的排序。因此 STS 修正概率幅度以匹配经验接受率，但不扰乱置信度头学到的草稿 token 相对排序。
|
||
|
||
## 效果
|
||
|
||
DSpark 论文报告：原始置信度估计平均 ECE 为 3%-8%，经 STS 后降至 ~1%，为硬件感知前缀调度器提供可靠的存活概率估计。
|
||
|
||
## 参考
|
||
|
||
- [[DSpark]]
|
||
- [[confidence-head|置信度头（Confidence Head）]]
|
||
- [[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]]
|