35 lines
1.3 KiB
Markdown
35 lines
1.3 KiB
Markdown
---
|
||
title: "Low-Rank Decomposition: 神经网络低秩压缩"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [model-compression, matrix-factorization, efficient-inference]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Low-Rank Decomposition (低秩分解)
|
||
|
||
Low-Rank Decomposition (LRD) 是神经网络压缩的经典技术：将全连接层的权重矩阵 W ∈ R^{m×n} 近似分解为两个较小矩阵的乘积：
|
||
|
||
$$W \approx UV^\top$$
|
||
|
||
其中 U ∈ R^{m×r}，V ∈ R^{n×r}，且 r ≪ min(m, n)。参数量从 mn → r(m + n)。
|
||
|
||
## 在 Mapping Networks 中的应用
|
||
|
||
Mapping Networks 可以用 LRD 进一步降低映射网络的存储需求：不直接生成 W，而是生成 U 和 V 两个更小的矩阵，显著减少映射网络的固定权重数量。
|
||
|
||
## 相关技术
|
||
|
||
- **SVD 截断**：基于奇异值分解的后训练压缩
|
||
- **Pruning**：稀疏化——移除不重要连接
|
||
- **Quantization**：降低权重位宽
|
||
|
||
这三种技术与 Mapping Networks 正交，可以组合使用——如 Table 8 所示，Ours* + LRD 和 Ours* + Prune 均保持可用精度。
|
||
|
||
## 参考
|
||
|
||
- Eckart & Young, "The approximation of one matrix by another of lower rank", 1936
|
||
- Idelbayev & Carreira-Perpiñán, "Low-rank compression of neural nets", CVPR 2020
|
||
- [[weight-modulation]]
|