20260706:新增一些文章
This commit is contained in:
35
concepts/intent-underspecification.md
Normal file
35
concepts/intent-underspecification.md
Normal file
@@ -0,0 +1,35 @@
|
||||
---
|
||||
title: "意图欠定性(Intent Underspecification)"
|
||||
created: 2026-07-02
|
||||
updated: 2026-07-02
|
||||
type: concept
|
||||
tags: [verification, intent, specification, evaluation]
|
||||
sources:
|
||||
- "[[verification-horizon-no-silver-bullet]]"
|
||||
---
|
||||
|
||||
# 意图欠定性(Intent Underspecification)
|
||||
|
||||
**意图欠定性**是验证困难的根本原因之一:用户的真实意图天然是欠定的——用户自己往往无法在见到反例之前完整表达期望。
|
||||
|
||||
## 双重困难
|
||||
|
||||
1. **忠实验证意图本身就很难**:意图欠定意味着无法穷举所有"正确"的定义
|
||||
2. **优化放大差距**:当 proxy 作为训练信号时,模型学习的是如何满足 proxy 而非意图 → proxy-intent gap 随优化增大
|
||||
|
||||
## 表现形式
|
||||
|
||||
在 [[test-driven-rewards|测试驱动奖励]] 中体现为:
|
||||
- **Instruction 不清晰**:任务描述引用不可访问的外部资源(如 Slack 讨论)
|
||||
- **Test-instruction 不对齐**:测试验证的功能与描述的任务正交
|
||||
- **反例预测困难**:维护者无法预见到所有 corner case
|
||||
|
||||
## 与 Verification Horizon 的关系
|
||||
|
||||
意图欠定性是 [[verification-horizon|验证边界]] 的第一推动力:因为 intent 永远无法被完美形式化,任何固定验证器最终都会被超越。
|
||||
|
||||
## 参考
|
||||
|
||||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||||
- [[goodharts-law|Goodhart 定律]]
|
||||
- [[agentic-quality-judge|Agent 质量判断器]]
|
||||
Reference in New Issue
Block a user