39 lines
1.2 KiB
Markdown
39 lines
1.2 KiB
Markdown
---
|
||
title: "LoRA (Low-Rank Adaptation)"
|
||
created: 2026-06-01
|
||
updated: 2026-06-01
|
||
type: concept
|
||
tags: [fine-tuning, peft, llm]
|
||
sources: [raw/papers/xu-why-steering-works-2026.md]
|
||
confidence: medium
|
||
---
|
||
|
||
# LoRA（低秩适配）
|
||
|
||
## 定义
|
||
|
||
LoRA（Low-Rank Adaptation, Hu et al., 2022）是一种参数高效微调方法，通过冻结原始权重 $W$ 并训练低秩更新 $\Delta W = BA$（$B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}, r \ll \min(d,k)$）来适配模型。
|
||
|
||
推理时：$W \leftarrow W + \Delta W = W + BA$
|
||
|
||
## 在统一动态权重视角中
|
||
|
||
在 Xu et al. (2026) 的统一框架中，带缩放系数的 LoRA 表达为：
|
||
|
||
$$h_{i+1} = (W + mBA)h_i + b$$
|
||
|
||
$$\Delta h = m(BA h_i)$$
|
||
|
||
LoRA 是**仅修改 W**（不修改 b）的动态权重更新，参数规模为 $d_{in} \times r + r \times d_{out}$。
|
||
|
||
## 导向动态
|
||
|
||
LoRA 与其他干预形式一样呈现三阶段偏好动态和效用衰减，其表现与 Local Weight 方法高度一致。
|
||
|
||
## 相关概念
|
||
|
||
- [[dynamic-weight-updates]] — 统一框架中的 LoRA 位置
|
||
- [[activation-steering]] — b-only 的动态更新
|
||
- [[steering-dynamics]] — LoRA 的偏好-效用动态
|
||
- [[xu-why-steering-works]] — 源论文
|