42 lines
1.5 KiB
Markdown
42 lines
1.5 KiB
Markdown
---
|
||
title: "选择性 HITL — Selective Human-in-the-Loop"
|
||
created: 2026-06-19
|
||
updated: 2026-06-19
|
||
type: concept
|
||
tags: [hitl, automation, ai-safety, decision-threshold]
|
||
sources:
|
||
- https://towardsdatascience.com/six-choices-every-ai-engineer-has-to-make-and-nobody-teaches/
|
||
---
|
||
|
||
# 选择性 HITL（Selective Human-in-the-Loop）
|
||
|
||
## 定义
|
||
|
||
选择性 HITL 是解决 [[human-in-the-loop|HITL]] 规模化问题的策略：不是审查每个模型决策，而是**仅在特定条件触发时引入人工审查**。
|
||
|
||
## 为什么需要选择性 HITL
|
||
|
||
完全人工审查面临三个根本问题：
|
||
1. **无法规模化**——审查量与模型吞吐量根本不匹配
|
||
2. **速度瓶颈**——实时人工干预拖慢整个系统
|
||
3. **质量退化**——审核人的不一致性降低标签质量（疲劳、偏见）
|
||
|
||
## 触发条件
|
||
|
||
仅在以下情况引入人工审查：
|
||
- **边缘案例**（Edge Cases）：模型不确定或未见过的情况
|
||
- **低置信度输出**：预测概率低于阈值
|
||
- **高风险决策**：错误成本过高（医疗、金融、法律）
|
||
|
||
## 设计关键
|
||
|
||
1. **置信度阈值**：需要仔细校准——太低浪费人力，太高漏过错误
|
||
2. **人类推翻权限**：当人类与模型意见不一致时，是否有明确权限推翻？答案取决于领域风险
|
||
3. **反馈闭环**：被推翻的决策应回流为训练信号，持续改进模型和阈值
|
||
|
||
## 参考
|
||
|
||
- [[human-in-the-loop|Human-in-the-Loop]]
|
||
- [[ai-production-tradeoffs|AI 生产权衡]]
|
||
- [[nobrega-ai-production-tradeoffs-2026|原文文章]]
|