Files
myWiki/concepts/intent-underspecification.md

1.4 KiB
Raw Permalink Blame History

title, created, updated, type, tags, sources
title created updated type tags sources
意图欠定性Intent Underspecification 2026-07-02 2026-07-02 concept
verification
intent
specification
evaluation
verification-horizon-no-silver-bullet

意图欠定性Intent Underspecification

意图欠定性是验证困难的根本原因之一:用户的真实意图天然是欠定的——用户自己往往无法在见到反例之前完整表达期望。

双重困难

  1. 忠实验证意图本身就很难:意图欠定意味着无法穷举所有"正确"的定义
  2. 优化放大差距:当 proxy 作为训练信号时,模型学习的是如何满足 proxy 而非意图 → proxy-intent gap 随优化增大

表现形式

test-driven-rewards 中体现为:

  • Instruction 不清晰:任务描述引用不可访问的外部资源(如 Slack 讨论)
  • Test-instruction 不对齐:测试验证的功能与描述的任务正交
  • 反例预测困难:维护者无法预见到所有 corner case

与 Verification Horizon 的关系

意图欠定性是 verification-horizon 的第一推动力:因为 intent 永远无法被完美形式化,任何固定验证器最终都会被超越。

参考