---
title: "辅助预测目标 (Auxiliary Predictive Objectives)"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["deep-rl", "representation-learning", "self-supervised-learning"]
sources: ["[[predictive-representations-scalable-mtrl]]"]
---

# 辅助预测目标 (Auxiliary Predictive Objectives)

在深度RL中，**辅助预测目标**是与主TD目标并行训练的额外损失函数，用于提供密集监督信号以改善表征学习。

## 标准预测目标

从潜状态 z_t 和动作 a_t 预测：

1. **下一潜状态** z_{t+1}：动力学预测 → 捕捉因果关系
2. **即时奖励** r_t：奖励预测 → 任务相关信号
3. **终止信号** d_t：终止预测 → episode 结构

## 梯度流

预测目标的梯度**回传至编码器** phi：
```
L_pred = ||phi(s_{t+1}) - f_pred(z_t, a_t)||^2
```

编码器同时接收 TD 损失和预测损失的梯度 → 学习到同时支持值函数近似和动力学预测的表征。

## 在 MR.Q 中的实现

[[mrq-algorithm|MR.Q]] 使用潜空间预测（非像素空间），将预测目标直接作用于编码器输出的 z_t，避免高维重建的计算开销。

## 为什么有效

| 信号类型 | 稀疏性 | 平稳性 | 跨任务泛化 |
|---------|-------|--------|----------|
| 奖励信号 | 稀疏 | 非平稳 | 差 |
| 预测目标 | 密集 | 相对平稳 | 好 |

预测目标提供**每个 transition** 的监督（而非仅奖励时刻），且动力学预测是任务无关的 → 天然适合多任务迁移。

## 与 Planning 的本质区别

预测目标学习的模型仅用于**表征塑造**——不做前向 rollout。这避免了模型误差累积和计算开销，同时保留了预测监督的表征收益。

## 参考
- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]]
- [[mrq-algorithm|MR.Q]]
- [[predictive-representation-learning|Predictive Representation Learning]]