42 lines
1.9 KiB
Markdown
42 lines
1.9 KiB
Markdown
---
|
||
title: "Execution Fidelity"
|
||
created: 2026-06-05
|
||
updated: 2026-06-05
|
||
type: concept
|
||
tags: [agent-safety, trajectory-audit, correctness]
|
||
sources: [[liu-auditing-agent-harness-safety]]
|
||
---
|
||
|
||
# Execution Fidelity (L2)
|
||
|
||
**执行忠实度**是 [[agent-harness-safety|Agent 骨架安全]]三层审计框架的第二层（L2），评估执行轨迹是否通过**有效的中间步骤**达成目标，而非仅检查最终输出 y 是否匹配参考答案。
|
||
|
||
## 两个评估维度
|
||
|
||
### Action Validity (AVS)
|
||
评估工具选择、参数和目标对象是否正确，冗余操作是否被避免：
|
||
- 工具选择是否合适？
|
||
- 参数是否准确？
|
||
- 目标资源是否在范围内？
|
||
- 是否存在不必要的重复步骤？
|
||
|
||
### Checkpointed Task Completion (TCR)
|
||
从轨迹或环境状态可验证的任务里程碑，而非仅依赖最终输出：
|
||
- 每个检查点有独立权重 w_m 和评分 s_m
|
||
- 得分 = min(1, Σ w_m × s_m)
|
||
- 权重高的检查点对应关键子任务（如"成功查询数据库"）
|
||
|
||
## L2 的独特价值
|
||
|
||
与 L1 [[boundary-compliance]] 不同，L2 关注的是**过程正确性**而非**权限合规**。一个轨迹可以：
|
||
- L1 ✓（所有操作都在权限内）但 L2 ✗（操作顺序错误、检查点未完成）
|
||
- L1 ✗（访问了越权资源）但 L2 ✓（任务客观上完成了）
|
||
|
||
只有 L1 和 L2 **同时通过**，骨架执行才被认为是既安全又有效的。
|
||
|
||
## 实验发现
|
||
|
||
HarnessAudit 实验揭示了一个关键的反直觉现象：**任务完成能力与安全合规是负相关的**。Gemini 3.1 Pro 的任务完成率 (TCR) 并非最高，但凭借最强的安全合规获得了最高总体分；而 Claude Opus 4.6 的 TCR 更高，但安全指标明显更弱。这表明更强的任务能力并不自动转化为更可靠的执行过程。
|
||
|
||
L2 的评测采用混合协议：确定性匹配 + LLM-as-a-Judge（GPT-5.4），后者处理开放式的执行合理性判断。
|