---
title: "人机信任 (Human-Agent Trust)"
created: 2026-04-19
updated: 2026-04-19
type: concept
tags: [alignment, research]
sources: [raw/papers/li-amd-human-perception-2026.md]
---

# 人机信任 (Human-Agent Trust)

## 背景

随着 LLM Agent 在软件开发、医疗等高风险领域成为受信任的副驾驶（copilots），人机信任问题从理论走向实践。信任的建立与滥用构成了新的安全挑战。

## 核心矛盾

- **信任的必要性**：Agent 需要一定的用户信任才能有效协作
- **信任的脆弱性**：过度信任导致用户对 Agent 输出缺乏批判性验证
- **领域专家悖论**：专家在自身领域可能更倾向于信任工具的输出，反而在特定场景下更易受 AMD 攻击

## 研究进展

- **HAT-Lab** (Li et al., 2026)：首个高保真人机信任实验平台，涵盖 9 个真实场景
- **认知失败模式**：识别了 6 种用户在面对欺骗性 Agent 时的认知失效路径
- **经验学习**：通过模拟体验，用户可显著提高对 AMD 的警惕性（>90%）

## 防御设计原则

1. **可验证性**：Agent 的输出应易于人类交叉验证
2. **低成本警告**：安全警告应中断工作流但验证成本低
3. **信任校准**：帮助用户建立对 Agent 能力的准确预期，避免过度或不足信任

## 相关概念

- [[agent-mediated-deception]] — AMD 攻击与防御
- [[human-centered-ai]] — 以人为中心的 AI 哲学
- [[li-amd-human-perception]] — 实证研究论文