---
title: "Epoch-based 乐观 MLE (Epoch-based Optimistic MLE)"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["rl-algorithms", "optimism", "online-learning", "exploration"]
sources: ["[[minimax-policy-regret-pomg]]"]
---

# Epoch-based 乐观 MLE

**Epoch-based Optimistic MLE** 是 [[minimax-policy-regret-pomg|Arora (2026)]] 提出的 POMG 策略后悔最小化算法，核心思想是通过极少次数的策略切换来控制传输成本。

## 算法结构

```
for e = 0, 1, 2, ...:
    T_e = 2^e  // 几何增长的 epoch 长度
    基于累积数据构建 MLE 置信集 C_e
    选择乐观策略 pi_e = argmax_{pi, xi in C_e} V^{pi, xi}
    执行 pi_e 整个 epoch (T_e episodes)
```

## 关键设计选择

1. **几何增长 epoch**：T_e = 2^e
   - 仅 O(log T) 个不同策略被部署
   - 切换成本保持 polylogarithmic

2. **累积置信集**：每个 epoch 使用所有历史数据构建
   - 置信集单调收缩
   - 确保乐观性：真实参数以高概率在置信集内

3. **乐观策略选择**：在置信集内最大化价值
   - 探索-利用的经典乐观原则
   - 配合 [[eluder-dimension|Eluder 维度]]确保高效

## 策略切换的传输成本

在 [[posterior-lipschitz-adversary|Posterior-Lipschitz POMG]] 中，每次策略切换会触发对手响应变化。Epoch 结构确保：
- 仅 O(log T) 次切换
- 每次切换的对手适应成本被 Lipschitz 常数控制
- 总传输成本 O(m * H * log T)，不破坏 sqrt(T) 速率

## 参考
- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]]
- [[policy-regret|Policy Regret]]
- [[eluder-dimension|Eluder Dimension]]