---
title: "Learning to Adapt: Representation-Based RL for Multi-Task Skill Transfer"
created: 2026-06-17
updated: 2026-06-17
type: paper
tags: [reinforcement-learning, multi-task, robot-control, representation-learning, transfer-learning]
sources: [raw/papers/naveen-repmt-sac-2026.md]
confidence: high
---

# RepMT-SAC: 基于表征的多任务强化学习技能迁移

> Aryan Naveen (MIT), Haitong Ma, Haldun Balim, Na Li — Harvard SEAS, 2026
> arXiv: [2606.12890](https://arxiv.org/abs/2606.12890) | cs.RO

## 核心问题

多任务 RL 中不同任务共享相同动力学（如四旋翼在不同轨迹上的飞行动力学相同），但标准 RL 将各任务独立训练，导致**无法复用共享结构**。如何分离任务不变动力学与任务特定奖励，实现跨任务知识复用？

## 方法论：RepMT-SAC

### 谱 MDP 分解

将任务条件 Q 函数分解为：

```
Q^π(s, a; τ) = ⟨φ(s, a), w^π(τ)⟩
```

- **φ(s, a)**：[[task-invariant-representation|任务不变表征]]——捕获共享动力学
- **w^π(τ)**：[[task-conditioned-policy|任务条件权重]]——编码任务特定奖励

关键创新：φ 与 w 被**明确解耦**——以往方法或混在一起、或通过隐式嵌入学习。

### 两阶段学习

**上游阶段（Upstream）**：

1. 从回放缓冲区联合学习 φ(s,a) 和 µ(s')（谱条件密度估计）
2. 任务编码 w(τ;θ) 通过 TD 目标更新（φ 冻结后是**线性回归**，极稳定）
3. 最大熵策略 π(a|s,τ) 从线性 Q 导出

**下游阶段（Downstream）**：

1. **冻结** φ 和 µ（任务不变动力学）
2. 仅**微调** w(τ_new) 和 π_new
3. 大幅减少可训练参数 → 快速少样本适应

## 实验：四旋翼轨迹跟踪

在 IsaacSim 上评估 [[quadrotor-trajectory-following|四旋翼轨迹跟踪]]：

- 任务 τ = Legendre 多项式系数（轨迹参数化）
- 源任务 = 低阶多项式基
- ID 任务 = 基的凸组合
- OOD 任务 = 高阶 Legendre 多项式（外推）

| 方法 | 源任务奖励 | ID 零样本 | OOD 少样本 |
|------|----------|----------|----------|
| SAC | 基线 | 泛化差 | 需重训 |
| CTRL-SAC | 较好 | 中等 | 中等 |
| **RepMT-SAC** | **最优** | **+30%** | **最快适应** |

## 优势分析

- **线性 Q 评估**：φ 冻结后 Q 学习变为线性回归，训练极稳定
- **知识复用**：φ 一次性学好，所有任务受益
- **快速适应**：OOD 任务仅需微调 w 和 π 的小参数集
- **理论基础**：谱分解保证表示的可迁移性

## 参考

- [[spectral-mdp-decomposition|谱 MDP 分解]]
- [[multitask-rl|多任务 RL]]
- [[soft-actor-critic|SAC]]
- [[few-shot-learning|少样本学习]]
- 来源：[原始存档](raw/papers/naveen-repmt-sac-2026.md)