---
title: "LLaMA-Factory"
created: 2025-06-02
updated: 2025-06-02
type: concept
tags: [fine-tuning, framework, llm, placeholder]
sources: []
---

# LLaMA-Factory

> 统一的高效 LLM 微调框架（Zheng et al., ACL 2024），支持 100+ 模型和多种微调方法（LoRA、QLoRA、全参数等）。

## 核心能力

- 支持 SFT、RLHF、DPO 等多种训练范式
- 内置序列打包（neat packing）支持
- 量化微调（QLoRA、4-bit NF4）
- 实验管理 CLI（`llamafactory-cli`）

## 在 One-Pass to Reason 中的应用

[[goru-one-pass-to-reason-2025]] 完全基于 LLaMA-Factory 实现，使用 `llamafactory-cli` 在 SFT 模式下进行 [[one-pass-fine-tuning|单遍微调]] 实验。

## 相关

- [[goru-one-pass-to-reason-2025|One-Pass to Reason]]
- [[qlora]]
- [[lora]]