20260720

concepts/verification-governance.md

@@ -0,0 +1,49 @@
+---
+title: "验证与治理 (Verification and Governance, V)"
+created: 2026-07-13
+updated: 2026-07-13
+type: concept
+tags: [agent, harness, safety, verification]
+sources:
+  - arxiv:2606.20683
+---
+
+# 验证与治理 (V)
+
+## 定义
+
+脚手架六组件之一。**验证与治理层**在运行时检查、约束和修复执行。包含双重角色：
+
+- **验证（Verification）**：测试、断言、verifier models、judge signals——估计执行是否按正确方向推进
+- **治理（Governance）**：审批门控、沙盒化、预算控制、rollback、retry、升级、安全终止——决定脚手架被允许或要求对验证证据做什么
+
+## 设计空间
+
+- 验证信号强度：强 oracle（测试/linter/assertion）vs. 弱 oracle（human judge/LLM-as-judge）
+- 治理模式：pre-action gate vs. post-action check vs. continuous monitoring
+- 恢复机制：rollback、retry、escalation、safe termination
+- 权限门控：human approval、budget control、side-effect containment
+
+## 核心权衡
+
+**自主性 vs. 鲁棒性**：
+- 更宽松的约束允许更广泛的探索，但增加有害行动和不可恢复漂移的风险
+- 更严格的治理提高安全性和可恢复性，但可能减慢执行或阻断有用行为
+
+## 环境依赖性
+
+| 环境 | 验证强度 | 治理重点 |
+|------|---------|----------|
+| 编码（SWE-bench） | 强（tests、linters、assertions） | sandbox + rollback |
+| Web/Desktop（WebArena） | 弱（oracle 常不可用） | gate + escalation |
+| 开放环境 | 极弱 | continuous monitoring + safe termination |
+
+## 开放问题
+
+设计**选择性和成本感知**的验证与治理机制——区分可恢复的局部错误与更深层的任务级崩溃，而不过度触发中断或回滚。
+
+## 参考
+- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
+- [[harness-six-components|脚手架六组件模型]]
+- [[action-interface|行动接口]]
+- [[control-loop|控制循环]]