myWiki/concepts/expected-calibration-error.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
预期校准误差 (Expected Calibration Error, ECE)	2026-06-10	2026-06-10	concept	uncertainty-quantification calibration metrics	principled-uncertainty-clinical-ai

预期校准误差 (Expected Calibration Error, ECE)

ECE（Guo et al., 2017）是衡量模型概率预测校准质量的标准指标。它度量预测置信度与实际准确率之间的加权平均偏差。

形式化定义

将预测按置信度分为 B 个 bin：

ECE = sum_b (|B_b| / N) * |acc(B_b) - conf(B_b)|

• |B_b|/N：第 b 个 bin 中样本的比例权重
• acc(B_b)：该 bin 中的实际准确率
• conf(B_b)：该 bin 中的平均预测置信度

解读

• ECE → 0：完美校准（置信度 = 准确率）
• ECE 高：模型系统性过度自信或信心不足
• 现代深度神经网络普遍校准不良（Guo et al., 2017）

临床 AI 中的 ECE

在 principled-uncertainty-clinical-ai 中，端到端贝叶斯模型达到 ECE = 0.096，表示优秀的校准性能。良好的校准是 uncertainty-equity-gap 作为可靠公平性信号的先决条件——如果模型校准差，不确定性度量的公平含义将不可信。

相关方法

• Temperature Scaling（后校准，Guo et al. 2017）
• bayesian-deep-learning（内置校准）
• Reliability Diagram（校准可视化）

参考

• principled-uncertainty-clinical-ai
• uncertainty-quantification
• uncertainty-equity-gap