41 lines
1.6 KiB
Markdown
41 lines
1.6 KiB
Markdown
---
|
||
title: "前置推理 RL (Pre-Hoc Reasoning RL)"
|
||
created: 2026-06-14
|
||
updated: 2026-06-14
|
||
type: concept
|
||
tags: [rl, post-training, reasoning, training]
|
||
sources: [raw/articles/qifu-llm-finance-practice-2026.md]
|
||
---
|
||
|
||
# 前置推理 RL (Pre-Hoc Reasoning RL)
|
||
|
||
奇富科技王元描述的高成本后训练方案：模型在生成最终答案之前先生成推理过程，再基于推理给出答案。
|
||
|
||
## 特征
|
||
|
||
- 属于"正统 RL"路径，训练范式更接近标准的 reasoning RL
|
||
- 在绝对准确率上有微弱优势（相比 [[post-hoc-reasoning-rl|后置推理 RL]]）
|
||
- 但在成本与工程复杂度上存在显著劣势
|
||
|
||
## 现实限制
|
||
|
||
1. **MOE 模型不兼容**：VeRL 框架不支持 MOE 模型的 RL+LoRA 后训练，部分场景被迫退回全参微调
|
||
2. **最适合 Dense 模型**：LoRA 架构对 Dense 模型最友好，MOE 工具链支持待完善
|
||
3. **需要拒绝采样 reasoning**：训练成本高，算力与训练时长显著增加
|
||
|
||
## 三阶梯成本框架
|
||
|
||
在 [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] 中，前置推理 RL 定位为最高成本方案：
|
||
|
||
```
|
||
SFT (低成本) < 后置推理 RL (中成本) < 前置推理 RL (高成本)
|
||
```
|
||
|
||
选择建议：仅当业务同时要求**最高准确率 + 内置推理能力**，且基模为 Dense 模型、有充足 GPU 预算时才采用。
|
||
|
||
## 参考
|
||
|
||
- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享
|
||
- [[post-hoc-reasoning-rl|后置推理 RL]] — 性价比更高的替代方案
|
||
- [[moe-lora-toolchain-conflict|MOE + LoRA 冲突]] — 限制前置推理 RL 的现实阻碍
|