20260706:新增一些文章

concepts/confidence-head.md

@@ -0,0 +1,41 @@
+---
+title: "Confidence Head"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [speculative-decoding, confidence-estimation, neural-calibration]
+sources: [DSpark]
+---
+# Confidence Head
+
+置信度头是 [[DSpark]] 中用于预测每个草稿位置**条件存活概率**的轻量级模块。其输出直接驱动[[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]的验证长度决策。
+
+## 架构
+
+$$c_k = \sigma\left(w^\top [h_k; W_1[x_{k-1}]]\right)$$
+
+- $h_k$：并行骨干在位置 $k$ 的隐藏状态
+- $W_1[x_{k-1}]$：前一个草稿 token 的马尔可夫嵌入
+- $\sigma$：sigmoid，将输出压缩到 $(0,1)$
+
+## 监督信号
+
+训练目标 $c_k$ 逼近解析接受率 $c_k^*$，后者由草稿分布 $p_k^d$ 与目标分布 $p_k^t$ 的总变差距离决定：
+
+$$c_k^* = 1 - \frac{1}{2} \|p_k^d - p_k^t\|_1$$
+
+## 校准：顺序温度缩放（STS）
+
+原始置信度估计常存在过自信偏差（平均 ECE 3%-8%）。[[sequential-temperature-scaling|Sequential Temperature Scaling]] 逐位置进行 1D 网格搜索，最小化累积乘积 $\prod_{i \le k} c_i$ 的 ECE，将平均 ECE 降至 ~1%。
+
+温度缩放是保序变换——修正概率幅度但不扰乱草稿 token 的相对排序。
+
+## 与静态阈值方法的区别
+
+静态阈值方法（如直接拒绝 $c_k < \theta$ 的 token）只需要置信度分数的相对排序。DSpark 的硬件感知调度器需要累积存活概率的**绝对幅度**来计算期望接受长度 $\tau$，因此必须校准。
+
+## 参考
+
+- [[DSpark]]
+- [[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]]
+- [[sequential-temperature-scaling|Sequential Temperature Scaling]]