---
title: "LoRA (Low-Rank Adaptation)"
created: 2026-06-01
updated: 2026-06-01
type: concept
tags: [fine-tuning, peft, llm]
sources: [raw/papers/xu-why-steering-works-2026.md]
confidence: medium
---

# LoRA（低秩适配）

## 定义

LoRA（Low-Rank Adaptation, Hu et al., 2022）是一种参数高效微调方法，通过冻结原始权重 $W$ 并训练低秩更新 $\Delta W = BA$（$B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}, r \ll \min(d,k)$）来适配模型。

推理时：$W \leftarrow W + \Delta W = W + BA$

## 在统一动态权重视角中

在 Xu et al. (2026) 的统一框架中，带缩放系数的 LoRA 表达为：

$$h_{i+1} = (W + mBA)h_i + b$$

$$\Delta h = m(BA h_i)$$

LoRA 是**仅修改 W**（不修改 b）的动态权重更新，参数规模为 $d_{in} \times r + r \times d_{out}$。

## 导向动态

LoRA 与其他干预形式一样呈现三阶段偏好动态和效用衰减，其表现与 Local Weight 方法高度一致。

## 相关概念

- [[dynamic-weight-updates]] — 统一框架中的 LoRA 位置
- [[activation-steering]] — b-only 的动态更新
- [[steering-dynamics]] — LoRA 的偏好-效用动态
- [[xu-why-steering-works]] — 源论文