---
title: "自适应对手 (Adaptive Adversary)"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["multi-agent-rl", "online-learning", "game-theory"]
sources: ["[[minimax-policy-regret-pomg]]"]
---

# 自适应对手 (Adaptive Adversary)

**自适应对手**是其行为依赖于学习者**过去策略**的对手——不同于 oblivious 对手（行为预固定、不随学习者改变）。

## 形式化

m-memory bounded 对手 R：

```
g^t = R_t(pi^{t-m+1}, ..., pi^t)
```

对手在第 t 步的响应仅依赖最近 m 个 episode 的学习者策略。当学习者重复固定策略 pi 时，对手收敛到稳态响应 R_inf(pi)。

## 为什么自适应对手难处理

1. **External regret 失效**：标准 regret 将对手行为视为固定序列——在自适应对手下，如果学习者选择了不同策略，对手行为也会不同

2. **无界记忆不可能**（Arora et al., 2012）：当对手可以无限记忆时，任何算法都无法获得次线性 regret

3. **反事实推理**：评估策略 pi 需要知道"如果一直用 pi，对手会怎么反应"——这需要对手响应函数的模型

## 结构条件

[[minimax-policy-regret-pomg|Arora (2026)]] 引入两类条件使自适应对手可处理：

- **有限记忆**：m < infinity（否则 regret 不可能次线性）
- **[[posterior-lipschitz-adversary|Posterior-Lipschitz]]**：响应平滑变化
- **[[fading-memory|几何衰减记忆]]**：扩展——允许无限但衰减的记忆

## 参考
- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]]
- [[policy-regret|Policy Regret]]
- [[posterior-lipschitz-adversary|Posterior-Lipschitz Adversary]]
- [[fading-memory|Fading Memory]]
