1.2 KiB
1.2 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | ||||
|---|---|---|---|---|---|---|---|---|---|---|
| LoRA (Low-Rank Adaptation) | 2026-06-01 | 2026-06-01 | concept |
|
|
medium |
LoRA（低秩适配）
定义
LoRA（Low-Rank Adaptation, Hu et al., 2022）是一种参数高效微调方法，通过冻结原始权重 W 并训练低秩更新 $\Delta W = BA$（$B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}, r \ll \min(d,k)$）来适配模型。
推理时：W \leftarrow W + \Delta W = W + BA
在统一动态权重视角中
在 Xu et al. (2026) 的统一框架中，带缩放系数的 LoRA 表达为：
h_{i+1} = (W + mBA)h_i + b
\Delta h = m(BA h_i)
LoRA 是仅修改 W（不修改 b）的动态权重更新，参数规模为 $d_{in} \times r + r \times d_{out}$。
导向动态
LoRA 与其他干预形式一样呈现三阶段偏好动态和效用衰减，其表现与 Local Weight 方法高度一致。
相关概念
- dynamic-weight-updates — 统一框架中的 LoRA 位置
- activation-steering — b-only 的动态更新
- steering-dynamics — LoRA 的偏好-效用动态
- xu-why-steering-works — 源论文