50 lines
1.9 KiB
Markdown
50 lines
1.9 KiB
Markdown
---
|
||
title: "验证与治理 (Verification and Governance, V)"
|
||
created: 2026-07-13
|
||
updated: 2026-07-13
|
||
type: concept
|
||
tags: [agent, harness, safety, verification]
|
||
sources:
|
||
- arxiv:2606.20683
|
||
---
|
||
|
||
# 验证与治理 (V)
|
||
|
||
## 定义
|
||
|
||
脚手架六组件之一。**验证与治理层**在运行时检查、约束和修复执行。包含双重角色：
|
||
|
||
- **验证（Verification）**：测试、断言、verifier models、judge signals——估计执行是否按正确方向推进
|
||
- **治理（Governance）**：审批门控、沙盒化、预算控制、rollback、retry、升级、安全终止——决定脚手架被允许或要求对验证证据做什么
|
||
|
||
## 设计空间
|
||
|
||
- 验证信号强度：强 oracle（测试/linter/assertion）vs. 弱 oracle（human judge/LLM-as-judge）
|
||
- 治理模式：pre-action gate vs. post-action check vs. continuous monitoring
|
||
- 恢复机制：rollback、retry、escalation、safe termination
|
||
- 权限门控：human approval、budget control、side-effect containment
|
||
|
||
## 核心权衡
|
||
|
||
**自主性 vs. 鲁棒性**：
|
||
- 更宽松的约束允许更广泛的探索，但增加有害行动和不可恢复漂移的风险
|
||
- 更严格的治理提高安全性和可恢复性，但可能减慢执行或阻断有用行为
|
||
|
||
## 环境依赖性
|
||
|
||
| 环境 | 验证强度 | 治理重点 |
|
||
|------|---------|----------|
|
||
| 编码（SWE-bench） | 强（tests、linters、assertions） | sandbox + rollback |
|
||
| Web/Desktop（WebArena） | 弱（oracle 常不可用） | gate + escalation |
|
||
| 开放环境 | 极弱 | continuous monitoring + safe termination |
|
||
|
||
## 开放问题
|
||
|
||
设计**选择性和成本感知**的验证与治理机制——区分可恢复的局部错误与更深层的任务级崩溃，而不过度触发中断或回滚。
|
||
|
||
## 参考
|
||
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
|
||
- [[harness-six-components|脚手架六组件模型]]
|
||
- [[action-interface|行动接口]]
|
||
- [[control-loop|控制循环]]
|