30 lines
794 B
Markdown
30 lines
794 B
Markdown
---
|
||
title: "LLaMA-Factory"
|
||
created: 2025-06-02
|
||
updated: 2025-06-02
|
||
type: concept
|
||
tags: [fine-tuning, framework, llm, placeholder]
|
||
sources: []
|
||
---
|
||
|
||
# LLaMA-Factory
|
||
|
||
> 统一的高效 LLM 微调框架（Zheng et al., ACL 2024），支持 100+ 模型和多种微调方法（LoRA、QLoRA、全参数等）。
|
||
|
||
## 核心能力
|
||
|
||
- 支持 SFT、RLHF、DPO 等多种训练范式
|
||
- 内置序列打包（neat packing）支持
|
||
- 量化微调（QLoRA、4-bit NF4）
|
||
- 实验管理 CLI（`llamafactory-cli`）
|
||
|
||
## 在 One-Pass to Reason 中的应用
|
||
|
||
[[goru-one-pass-to-reason-2025]] 完全基于 LLaMA-Factory 实现，使用 `llamafactory-cli` 在 SFT 模式下进行 [[one-pass-fine-tuning|单遍微调]] 实验。
|
||
|
||
## 相关
|
||
|
||
- [[goru-one-pass-to-reason-2025|One-Pass to Reason]]
|
||
- [[qlora]]
|
||
- [[lora]]
|