45 lines
1.6 KiB
Markdown
45 lines
1.6 KiB
Markdown
---
|
||
title: "预期校准误差 (Expected Calibration Error, ECE)"
|
||
created: 2026-06-10
|
||
updated: 2026-06-10
|
||
type: concept
|
||
tags: ["uncertainty-quantification", "calibration", "metrics"]
|
||
sources: ["[[principled-uncertainty-clinical-ai]]"]
|
||
---
|
||
|
||
# 预期校准误差 (Expected Calibration Error, ECE)
|
||
|
||
**ECE**（Guo et al., 2017）是衡量模型概率预测校准质量的标准指标。它度量预测置信度与实际准确率之间的加权平均偏差。
|
||
|
||
## 形式化定义
|
||
|
||
将预测按置信度分为 B 个 bin：
|
||
|
||
```
|
||
ECE = sum_b (|B_b| / N) * |acc(B_b) - conf(B_b)|
|
||
```
|
||
|
||
- |B_b|/N：第 b 个 bin 中样本的比例权重
|
||
- acc(B_b)：该 bin 中的实际准确率
|
||
- conf(B_b)：该 bin 中的平均预测置信度
|
||
|
||
## 解读
|
||
|
||
- ECE → 0：完美校准（置信度 = 准确率）
|
||
- ECE 高：模型系统性过度自信或信心不足
|
||
- 现代深度神经网络普遍校准不良（Guo et al., 2017）
|
||
|
||
## 临床 AI 中的 ECE
|
||
|
||
在 [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 中，端到端贝叶斯模型达到 ECE = 0.096，表示优秀的校准性能。良好的校准是 [[uncertainty-equity-gap|不确定性公平性差距]] 作为可靠公平性信号的先决条件——如果模型校准差，不确定性度量的公平含义将不可信。
|
||
|
||
## 相关方法
|
||
- Temperature Scaling（后校准，Guo et al. 2017）
|
||
- [[bayesian-deep-learning|贝叶斯方法]]（内置校准）
|
||
- Reliability Diagram（校准可视化）
|
||
|
||
## 参考
|
||
- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]]
|
||
- [[uncertainty-quantification|不确定性量化]]
|
||
- [[uncertainty-equity-gap|UEG]]
|