20260617:目前有914 页

concepts/expected-calibration-error.md

@@ -0,0 +1,44 @@
+---
+title: "预期校准误差 (Expected Calibration Error, ECE)"
+created: 2026-06-10
+updated: 2026-06-10
+type: concept
+tags: ["uncertainty-quantification", "calibration", "metrics"]
+sources: ["[[principled-uncertainty-clinical-ai]]"]
+---
+
+# 预期校准误差 (Expected Calibration Error, ECE)
+
+**ECE**（Guo et al., 2017）是衡量模型概率预测校准质量的标准指标。它度量预测置信度与实际准确率之间的加权平均偏差。
+
+## 形式化定义
+
+将预测按置信度分为 B 个 bin：
+
+```
+ECE = sum_b (|B_b| / N) * |acc(B_b) - conf(B_b)|
+```
+
+- |B_b|/N：第 b 个 bin 中样本的比例权重
+- acc(B_b)：该 bin 中的实际准确率
+- conf(B_b)：该 bin 中的平均预测置信度
+
+## 解读
+
+- ECE → 0：完美校准（置信度 = 准确率）
+- ECE 高：模型系统性过度自信或信心不足
+- 现代深度神经网络普遍校准不良（Guo et al., 2017）
+
+## 临床 AI 中的 ECE
+
+在 [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 中，端到端贝叶斯模型达到 ECE = 0.096，表示优秀的校准性能。良好的校准是 [[uncertainty-equity-gap|不确定性公平性差距]] 作为可靠公平性信号的先决条件——如果模型校准差，不确定性度量的公平含义将不可信。
+
+## 相关方法
+- Temperature Scaling（后校准，Guo et al. 2017）
+- [[bayesian-deep-learning|贝叶斯方法]]（内置校准）
+- Reliability Diagram（校准可视化）
+
+## 参考
+- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]]
+- [[uncertainty-quantification|不确定性量化]]
+- [[uncertainty-equity-gap|UEG]]