20260617:目前有914 页

concepts/llama-factory.md

@@ -0,0 +1,29 @@
+---
+title: "LLaMA-Factory"
+created: 2025-06-02
+updated: 2025-06-02
+type: concept
+tags: [fine-tuning, framework, llm, placeholder]
+sources: []
+---
+
+# LLaMA-Factory
+
+> 统一的高效 LLM 微调框架（Zheng et al., ACL 2024），支持 100+ 模型和多种微调方法（LoRA、QLoRA、全参数等）。
+
+## 核心能力
+
+- 支持 SFT、RLHF、DPO 等多种训练范式
+- 内置序列打包（neat packing）支持
+- 量化微调（QLoRA、4-bit NF4）
+- 实验管理 CLI（`llamafactory-cli`）
+
+## 在 One-Pass to Reason 中的应用
+
+[[goru-one-pass-to-reason-2025]] 完全基于 LLaMA-Factory 实现，使用 `llamafactory-cli` 在 SFT 模式下进行 [[one-pass-fine-tuning|单遍微调]] 实验。
+
+## 相关
+
+- [[goru-one-pass-to-reason-2025|One-Pass to Reason]]
+- [[qlora]]
+- [[lora]]