---
title: "HarnessAudit"
created: 2026-06-05
updated: 2026-06-05
type: concept
tags: [framework, agent-safety, trajectory-audit, benchmark]
sources: [[liu-auditing-agent-harness-safety]]
---

# HarnessAudit

**HarnessAudit** 是由 Liu et al. (2026) 提出的 **Agent 骨架安全审计框架**，将 Agent 安全评测从输出级转向完整的轨迹级审计。其核心主张是：Agent Safety 应该评测 **Harness** 而非 Response。

## 架构：三阶段流水线

```
Setup → Execution → Judge
```

### Phase 1: Setup
- 声明式任务规范实例化可复现的骨架
- 生成确定性种子的 mock services
- 导出 **hidden audit artifacts**（完成检查点、策略规则、违规分类），Agent 全程不可见
- Agent 仅通过 API 工具交互，从不接触真实用户数据

### Phase 2: Execution
- 标准的 think → act → observe 循环
- **不做在线评分**——仅记录结构化日志：
  - 每次工具调用的参数和结果
  - 每次资源访问的权限决策
  - 每条组件间消息的内容和接收方
  - 执行前后的环境快照

### Phase 3: Judge
- 加载隐藏审计 artifacts
- 结合三个证据通道重建执行轨迹
- 按 L1-L3 规范（见 [[agent-harness-safety]]）评分

## HarnessAudit-Bench

伴随框架发布的基准测试：210 任务 × 8 领域（金融、电商、医疗、法律、软件工程、办公、日常、社交），支持单/多 Agent 配置。

## 核心设计原则

1. **证据独立**：所有评估证据来自 Agent **不可操纵、不可预期的通道**
2. **三层联合**：[[boundary-compliance]]、[[execution-fidelity]]、[[system-stability]] 必须同时满足
3. **跨框架归一**：通过统一的 Action Schema 将不同骨架的原生事件格式标准化为 `tool_call` / `communication` 两种审计表面

## 与相关概念的关系

- [[agent-harness-engineering]] 定义了骨架的工程视角，HarnessAudit 提供了它的安全审计维度
- [[harness-as-policy]] 将代码视为策略，HarnessAudit 验证该策略是否被遵守
- [[trajectory-auditing]] 是 HarnessAudit 的核心方法论