53 lines
1.4 KiB
Markdown
53 lines
1.4 KiB
Markdown
---
|
||
title: "Soft Actor-Critic (SAC)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [reinforcement-learning, algorithm, actor-critic, entropy]
|
||
sources: [raw/papers/naveen-repmt-sac-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# Soft Actor-Critic (SAC)
|
||
|
||
SAC 是**最大熵强化学习**的代表性算法，在 [[repmt-sac|RepMT-SAC]] 中作为基础框架。
|
||
|
||
## 核心思想
|
||
|
||
标准 RL 仅最大化期望奖励。SAC 额外最大化**策略熵**：
|
||
|
||
```
|
||
π* = argmax E[Σ γ^t (r_t + α H(π(·|s_t)))]
|
||
```
|
||
|
||
其中 `H(π) = -E[log π(a|s)]` 鼓励探索和策略多样性。
|
||
|
||
## 架构
|
||
|
||
- **Actor**：参数化策略 π_θ(a|s)，输出动作分布（通常高斯）
|
||
- **双 Critic**：两个 Q 网络减少过估计偏差
|
||
- **温度参数 α**：控制奖励-熵 trade-off
|
||
- **重参数化技巧**：`a = f_θ(s, ε)`，ε ~ N(0,I)，允许低方差梯度
|
||
|
||
## RepMT-SAC 中的扩展
|
||
|
||
在[[rep-mt-sac|RepMT-SAC]]中，SAC 被扩展为多任务变体：
|
||
|
||
- Q 函数线性化：`Q(s,a;τ) = ⟨φ(s,a), w(τ)⟩`
|
||
- 策略条件于任务：`π(a|s,τ)`
|
||
- 上游联合学习 φ + w + π
|
||
- 下游冻结 φ，微调 w 和 π
|
||
|
||
## 关键特性
|
||
|
||
- **Off-policy**：从回放缓冲区学习
|
||
- **自动温度调节**：α 可自适应调整
|
||
- **连续动作**：天然支持连续控制
|
||
- **样本效率**：相比 on-policy 方法（如 PPO）
|
||
|
||
## 参考
|
||
|
||
- [[rep-mt-sac|RepMT-SAC]]
|
||
- [[multitask-rl|多任务 RL]]
|
||
- [[reinforcement-learning|强化学习]]
|