1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 选择性 HITL — Selective Human-in-the-Loop | 2026-06-19 | 2026-06-19 | concept |
|
|
选择性 HITL（Selective Human-in-the-Loop）
定义
选择性 HITL 是解决 human-in-the-loop 规模化问题的策略：不是审查每个模型决策，而是仅在特定条件触发时引入人工审查。
为什么需要选择性 HITL
完全人工审查面临三个根本问题：
- 无法规模化——审查量与模型吞吐量根本不匹配
- 速度瓶颈——实时人工干预拖慢整个系统
- 质量退化——审核人的不一致性降低标签质量（疲劳、偏见）
触发条件
仅在以下情况引入人工审查：
- 边缘案例（Edge Cases）：模型不确定或未见过的情况
- 低置信度输出：预测概率低于阈值
- 高风险决策：错误成本过高（医疗、金融、法律）
设计关键
- 置信度阈值：需要仔细校准——太低浪费人力，太高漏过错误
- 人类推翻权限：当人类与模型意见不一致时，是否有明确权限推翻？答案取决于领域风险
- 反馈闭环：被推翻的决策应回流为训练信号，持续改进模型和阈值