---
title: "MOE + LoRA 工具链冲突"
created: 2026-06-14
updated: 2026-06-14
type: concept
tags: [moe, lora, post-training, toolchain, engineering]
sources: [raw/articles/qifu-llm-finance-practice-2026.md]
---

# MOE + LoRA 工具链冲突

奇富科技王元披露的**现实工程阻碍**：MOE (Mixture of Experts) 模型在进行后训练（RL + LoRA）时，主流框架 VeRL **不支持**，导致无法使用 LoRA 的灵活性。

## 问题本质

- MOE 模型在推理吞吐量上有明显优势（vs Dense 模型）
- 但后训练工具链对 MOE 支持不完善
- VeRL 框架不支持 MOE 模型的 RL+LoRA
- 部分场景**被迫退回全参微调**，成本大幅上升

## 影响

| 方案 | MOE 兼容 | Dense 兼容 | 成本 | 灵活性 |
|------|---------|-----------|------|--------|
| SFT + LoRA | 部分支持 | ✅ | 低 | 高 |
| RL + LoRA (VeRL) | ❌ | ✅ | 中 | 高 |
| RL + 全参微调 | ✅ | ✅ | 高 | 低 |

## 对后训练路径选择的影响

这一冲突直接影响 [[pre-hoc-reasoning-rl|前置推理 RL]] 的可行性——因为前置推理 RL 需要 LoRA 灵活性，而 MOE 模型不支持，导致实际可选路径受限。

## 工程启示

- **基模选型需反向约束训练策略**：选 MOE 就要接受后训练工具链受限
- **信创硬件环境下的 vLLM 版本兼容性**也是额外阻碍
- 如果业务需要灵活的 LoRA 后训练，应优先选择 **Dense 模型**
- MOE 的推理吞吐优势可能被训练灵活性损失抵消

## 参考

- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享
- [[post-hoc-reasoning-rl|后置推理 RL]] — MOE 兼容的替代方案
- [[pre-hoc-reasoning-rl|前置推理 RL]] — 受此冲突限制的高成本方案