myWiki/concepts/verification-trilemma.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
验证三难（Verification Trilemma）	2026-07-02	2026-07-02	concept	verification evaluation reward-design	verification-horizon-no-silver-bullet

验证三难（Verification Trilemma）

验证信号的三个质量维度——Scalability（可扩展性）、Faithfulness（忠实性）、Robustness（鲁棒性）——难以同时实现。

三个维度

维度	定义	核心问题
Scalability	能否以训练规模廉价生产信号	成本约束
Faithfulness	信号反映多少真实用户意图 vs 窄化代理	代理偏差
Robustness	面对对抗输入和优化压力时判断是否稳定	对抗退化

现有方案的取舍

方案	Scalability	Faithfulness	Robustness
单元测试	✅	❌（仅覆盖薄层）	✅（相对）
LLM Judge	✅	✅	❌（易被利用）
人工专家评审	❌	✅	✅

三个全满的验证器——廉价、深度、抗博弈——正是目前缺失的。

在论文中的体现

论文的四类验证器各自在三维中作出不同取舍：

• test-driven-rewards：优先 scalability + robustness，牺牲 faithfulness
• interactive-judge：增强 robustness（抵抗长度利用）
• human-implicit-reward-signals：最大化 faithfulness，scalability 靠大规模用户
• agent-evaluator：兼顾 scalability + faithfulness，但 robustness 弱

参考

• verification-horizon-no-silver-bullet
• verification-horizon