36 lines
1.4 KiB
Markdown
36 lines
1.4 KiB
Markdown
---
|
||
title: "意图欠定性（Intent Underspecification）"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [verification, intent, specification, evaluation]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# 意图欠定性（Intent Underspecification）
|
||
|
||
**意图欠定性**是验证困难的根本原因之一：用户的真实意图天然是欠定的——用户自己往往无法在见到反例之前完整表达期望。
|
||
|
||
## 双重困难
|
||
|
||
1. **忠实验证意图本身就很难**：意图欠定意味着无法穷举所有"正确"的定义
|
||
2. **优化放大差距**：当 proxy 作为训练信号时，模型学习的是如何满足 proxy 而非意图 → proxy-intent gap 随优化增大
|
||
|
||
## 表现形式
|
||
|
||
在 [[test-driven-rewards|测试驱动奖励]] 中体现为：
|
||
- **Instruction 不清晰**：任务描述引用不可访问的外部资源（如 Slack 讨论）
|
||
- **Test-instruction 不对齐**：测试验证的功能与描述的任务正交
|
||
- **反例预测困难**：维护者无法预见到所有 corner case
|
||
|
||
## 与 Verification Horizon 的关系
|
||
|
||
意图欠定性是 [[verification-horizon|验证边界]] 的第一推动力：因为 intent 永远无法被完美形式化，任何固定验证器最终都会被超越。
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[goodharts-law|Goodhart 定律]]
|
||
- [[agentic-quality-judge|Agent 质量判断器]]
|