49 lines
1.4 KiB
Markdown
49 lines
1.4 KiB
Markdown
---
|
||
title: "谱 MDP 分解 (Spectral MDP Decomposition)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [reinforcement-learning, theory, representation-learning, mdp]
|
||
sources: [raw/papers/naveen-repmt-sac-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 谱 MDP 分解 (Spectral MDP Decomposition)
|
||
|
||
谱 MDP 分解将 MDP 的奖励函数和 Q 函数表示为**特征映射 φ 的线性组合**。[[repmt-sac|RepMT-SAC]] 将其推广到多任务设置——φ 任务不变，权重 w 任务特定。
|
||
|
||
## 定义
|
||
|
||
MDP 允许谱分解，若存在：
|
||
|
||
```
|
||
r(s,a,τ) = ⟨φ(s,a), θ(τ)⟩ （奖励分解）
|
||
Q^π(s,a;τ) = ⟨φ(s,a), w^π(τ)⟩ （Q 函数分解）
|
||
```
|
||
|
||
## 关键推广
|
||
|
||
传统谱分解（如 CTRL）假设 w 是固定向量。RepMT-SAC 将 w(τ) 推广为**任务的显式函数**：
|
||
|
||
| 维度 | 单任务谱分解 | 多任务推广 |
|
||
|------|------------|----------|
|
||
| φ(s,a) | 任务特定 | 任务不变 |
|
||
| w | 固定向量 | w(τ) 显式依赖任务 |
|
||
| 泛化 | 无 | 零样本 + 少样本 |
|
||
|
||
## 学习方式
|
||
|
||
使用**谱条件密度估计**近似学习 φ 和 µ(s')：
|
||
|
||
```
|
||
min_{φ,µ} -E[ log (exp⟨φ(s,a),µ(s')⟩ / Σ exp⟨φ(s,a),µ(s'')⟩) ]
|
||
```
|
||
|
||
类似对比学习的 softmax 交叉熵，使 φ 和 µ 的内积近似转移密度 P(s'|s,a)。
|
||
|
||
## 参考
|
||
|
||
- [[rep-mt-sac|RepMT-SAC]]
|
||
- [[task-invariant-representation|任务不变表征]]
|
||
- [[multitask-rl|多任务 RL]]
|