20260617:目前有914 页

concepts/qlora.md

@@ -0,0 +1,28 @@
+---
+title: "QLoRA (量化低秩适配)"
+created: 2025-06-02
+updated: 2025-06-02
+type: concept
+tags: [qlora, fine-tuning, quantization, placeholder]
+sources: []
+---
+
+# QLoRA
+
+> Quantized Low-Rank Adaptation（Dettmers et al., NeurIPS 2023），将 [[lora|LoRA]] 与 4-bit 量化结合，大幅降低 LLM 微调的内存需求。
+
+## 核心机制
+
+- **4-bit NormalFloat (NF4)** 量化：专为正态分布权重设计
+- **双重量化**：进一步压缩量化常数
+- **分页优化器**：处理内存峰值
+
+## 在 One-Pass to Reason 中的应用
+
+[[goru-one-pass-to-reason-2025]] 在 Qwen-3 系列（4B/8B/32B）上使用 QLoRA 进行实验，rank=32，α=64，4-bit NF4 量化。
+
+## 相关
+
+- [[lora]]
+- [[goru-one-pass-to-reason-2025|One-Pass to Reason]]
+- [[llama-factory]]