794 B
794 B
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| LLaMA-Factory | 2025-06-02 | 2025-06-02 | concept |
|
LLaMA-Factory
统一的高效 LLM 微调框架（Zheng et al., ACL 2024），支持 100+ 模型和多种微调方法（LoRA、QLoRA、全参数等）。
核心能力
- 支持 SFT、RLHF、DPO 等多种训练范式
- 内置序列打包（neat packing）支持
- 量化微调（QLoRA、4-bit NF4）
- 实验管理 CLI（
llamafactory-cli）
在 One-Pass to Reason 中的应用
goru-one-pass-to-reason-2025 完全基于 LLaMA-Factory 实现，使用 llamafactory-cli 在 SFT 模式下进行 one-pass-fine-tuning 实验。