20260706:新增一些文章

concepts/sequential-temperature-scaling.md

@@ -0,0 +1,34 @@
+---
+title: "Sequential Temperature Scaling"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [neural-calibration, confidence-estimation, speculative-decoding]
+sources: [DSpark]
+---
+# Sequential Temperature Scaling
+
+顺序温度缩放（STS）是 [[DSpark]] 提出的后校准方法，用于修正[[confidence-head|置信度头（Confidence Head）]]的过自信偏差。与标准温度缩放在整个输出空间上学习单一温度参数不同，STS 利用投机解码的前缀接受结构**逐位置校准**。
+
+## 方法
+
+利用链式法则：前缀 $1:k$ 被接受的联合概率 = $\prod_{i \le k} c_i$。STS 从左到右逐位置校准：
+
+1. 从一个 held-out 验证集收集实际接受/拒绝标签
+2. 在位置 $k$，保持前 $k-1$ 个位置的已校准分数不变
+3. 对位置 $k$ 执行 1D 网格搜索，找到最小化累积乘积 ECE 的最优温度标量
+4. 热启动下一位置
+
+## 关键性质
+
+**保序性**：温度缩放在 logit space 中是全局缩放 $\sigma(z/T)$，不改变 softmax 的排序。因此 STS 修正概率幅度以匹配经验接受率，但不扰乱置信度头学到的草稿 token 相对排序。
+
+## 效果
+
+DSpark 论文报告：原始置信度估计平均 ECE 为 3%-8%，经 STS 后降至 ~1%，为硬件感知前缀调度器提供可靠的存活概率估计。
+
+## 参考
+
+- [[DSpark]]
+- [[confidence-head|置信度头（Confidence Head）]]
+- [[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]]