51 lines
2.0 KiB
Markdown
51 lines
2.0 KiB
Markdown
---
|
||
title: "Off-Policy LLM 后训练"
|
||
created: 2026-05-12
|
||
updated: 2026-05-12
|
||
type: concept
|
||
tags: ["reinforcement-learning", "llm-post-training", "off-policy"]
|
||
sources: ["arxiv:2503.18929"]
|
||
---
|
||
|
||
# Off-Policy LLM 后训练
|
||
|
||
**Off-Policy LLM 后训练** 指使用**非当前策略生成的数据**来训练语言模型策略的 RL 范式，是 [[asynchronous-rl-llm|异步 RL]] 的基础。
|
||
|
||
## 与 On-Policy 的对比
|
||
|
||
| 维度 | On-Policy | Off-Policy |
|
||
|------|-----------|-----------|
|
||
| 数据来源 | 当前策略生成 | 任意策略（历史 buffer） |
|
||
| 训练效率 | 串行瓶颈 | 高度并行 |
|
||
| 数据利用率 | 一次使用 | 多次重用 |
|
||
| 探索能力 | 受限于当前策略 | 可混合多种策略数据 |
|
||
| 算法要求 | 简单 | 需处理分布偏移 |
|
||
|
||
## 为什么 LLM RL 难以 Off-Policy？
|
||
|
||
传统 RL（Atari、机器人）通过价值函数（Q-learning）实现 off-policy 学习。但 LLM 的 action space 极大（token-level），学习准确的价值函数极具挑战性（DeepSeek-R1 明确指出 critic 训练的困难）。
|
||
|
||
因此现有方法：
|
||
- Async DPO：性能随 off-policyness 增长而下降
|
||
- Proximal RLOO：用 IS ratio clipping 勉强缓解
|
||
|
||
## TBA 的突破
|
||
|
||
[[tba|TBA]] 绕过了价值函数的需求——[[trajectory-balance-objective|TB 目标]] 直接从轨迹级（trajectory-level）信号学习，不依赖 Q(s,a) 估计。数据只要具有 full support，TB 保证收敛。
|
||
|
||
**结果**：即使在 15 步 stale 数据上训练，TBA 的性能仍超越 on-policy 基线。
|
||
|
||
## 关键设计要素
|
||
|
||
1. **分布约束**：TB 的 KL 正则化（β 参数）防止策略过度偏离
|
||
2. **参考策略重置**：定期重置 π_ref，提供新鲜的正则化锚点
|
||
3. **采样策略混合**：[[reward-recency-sampling|recency + reward 混合采样]] 平衡稳定性与探索
|
||
|
||
## 相关概念
|
||
|
||
- [[tba|TBA]] — 框架实现
|
||
- [[trajectory-balance-objective]] — TB 目标
|
||
- [[asynchronous-rl-llm]] — 异步 RL 范式
|
||
- [[replay-buffer-rl-llm]] — Buffer 设计
|
||
- [[bartoldson-tba-2025|论文页面]]
|