45 lines
1.7 KiB
Markdown
45 lines
1.7 KiB
Markdown
---
|
||
title: "验证三难（Verification Trilemma）"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [verification, evaluation, reward-design]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# 验证三难（Verification Trilemma）
|
||
|
||
验证信号的三个质量维度——**Scalability（可扩展性）**、**Faithfulness（忠实性）**、**Robustness（鲁棒性）**——难以同时实现。
|
||
|
||
## 三个维度
|
||
|
||
| 维度 | 定义 | 核心问题 |
|
||
|------|------|---------|
|
||
| **Scalability** | 能否以训练规模廉价生产信号 | 成本约束 |
|
||
| **Faithfulness** | 信号反映多少真实用户意图 vs 窄化代理 | 代理偏差 |
|
||
| **Robustness** | 面对对抗输入和优化压力时判断是否稳定 | 对抗退化 |
|
||
|
||
## 现有方案的取舍
|
||
|
||
| 方案 | Scalability | Faithfulness | Robustness |
|
||
|------|:---:|:---:|:---:|
|
||
| 单元测试 | ✅ | ❌（仅覆盖薄层） | ✅（相对） |
|
||
| LLM Judge | ✅ | ✅ | ❌（易被利用） |
|
||
| 人工专家评审 | ❌ | ✅ | ✅ |
|
||
|
||
**三个全满的验证器——廉价、深度、抗博弈——正是目前缺失的。**
|
||
|
||
## 在论文中的体现
|
||
|
||
论文的四类验证器各自在三维中作出不同取舍：
|
||
- [[test-driven-rewards|测试驱动奖励]]：优先 scalability + robustness，牺牲 faithfulness
|
||
- [[interactive-judge|交互式判断器]]：增强 robustness（抵抗长度利用）
|
||
- [[human-implicit-reward-signals|用户反馈]]：最大化 faithfulness，scalability 靠大规模用户
|
||
- [[agent-evaluator|Agent 评估器]]：兼顾 scalability + faithfulness，但 robustness 弱
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[verification-horizon|验证边界]]
|