20260617:目前有914 页

concepts/lora.md

@@ -0,0 +1,38 @@
+---
+title: "LoRA (Low-Rank Adaptation)"
+created: 2026-06-01
+updated: 2026-06-01
+type: concept
+tags: [fine-tuning, peft, llm]
+sources: [raw/papers/xu-why-steering-works-2026.md]
+confidence: medium
+---
+
+# LoRA（低秩适配）
+
+## 定义
+
+LoRA（Low-Rank Adaptation, Hu et al., 2022）是一种参数高效微调方法，通过冻结原始权重 $W$ 并训练低秩更新 $\Delta W = BA$（$B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}, r \ll \min(d,k)$）来适配模型。
+
+推理时：$W \leftarrow W + \Delta W = W + BA$
+
+## 在统一动态权重视角中
+
+在 Xu et al. (2026) 的统一框架中，带缩放系数的 LoRA 表达为：
+
+$$h_{i+1} = (W + mBA)h_i + b$$
+
+$$\Delta h = m(BA h_i)$$
+
+LoRA 是**仅修改 W**（不修改 b）的动态权重更新，参数规模为 $d_{in} \times r + r \times d_{out}$。
+
+## 导向动态
+
+LoRA 与其他干预形式一样呈现三阶段偏好动态和效用衰减，其表现与 Local Weight 方法高度一致。
+
+## 相关概念
+
+- [[dynamic-weight-updates]] — 统一框架中的 LoRA 位置
+- [[activation-steering]] — b-only 的动态更新
+- [[steering-dynamics]] — LoRA 的偏好-效用动态
+- [[xu-why-steering-works]] — 源论文