---
title: "Low-Rank Decomposition: 神经网络低秩压缩"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [model-compression, matrix-factorization, efficient-inference]
sources: ["[[sen-mapping-networks]]"]
---

# Low-Rank Decomposition (低秩分解)

Low-Rank Decomposition (LRD) 是神经网络压缩的经典技术：将全连接层的权重矩阵 W ∈ R^{m×n} 近似分解为两个较小矩阵的乘积：

$$W \approx UV^\top$$

其中 U ∈ R^{m×r}，V ∈ R^{n×r}，且 r ≪ min(m, n)。参数量从 mn → r(m + n)。

## 在 Mapping Networks 中的应用

Mapping Networks 可以用 LRD 进一步降低映射网络的存储需求：不直接生成 W，而是生成 U 和 V 两个更小的矩阵，显著减少映射网络的固定权重数量。

## 相关技术

- **SVD 截断**：基于奇异值分解的后训练压缩
- **Pruning**：稀疏化——移除不重要连接
- **Quantization**：降低权重位宽

这三种技术与 Mapping Networks 正交，可以组合使用——如 Table 8 所示，Ours* + LRD 和 Ours* + Prune 均保持可用精度。

## 参考

- Eckart & Young, "The approximation of one matrix by another of lower rank", 1936
- Idelbayev & Carreira-Perpiñán, "Low-rank compression of neural nets", CVPR 2020
- [[weight-modulation]]