myWiki/concepts/low-rank-decomposition.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Low-Rank Decomposition: 神经网络低秩压缩	2026-06-25	2026-06-25	concept	model-compression matrix-factorization efficient-inference	sen-mapping-networks

Low-Rank Decomposition (低秩分解)

Low-Rank Decomposition (LRD) 是神经网络压缩的经典技术：将全连接层的权重矩阵 W ∈ R^{m×n} 近似分解为两个较小矩阵的乘积：

W \approx UV^\top

其中 U ∈ R^{m×r}，V ∈ R^{n×r}，且 r ≪ min(m, n)。参数量从 mn → r(m + n)。

在 Mapping Networks 中的应用

Mapping Networks 可以用 LRD 进一步降低映射网络的存储需求：不直接生成 W，而是生成 U 和 V 两个更小的矩阵，显著减少映射网络的固定权重数量。

相关技术

• SVD 截断：基于奇异值分解的后训练压缩
• Pruning：稀疏化——移除不重要连接
• Quantization：降低权重位宽

这三种技术与 Mapping Networks 正交，可以组合使用——如 Table 8 所示，Ours* + LRD 和 Ours* + Prune 均保持可用精度。

参考

• Eckart & Young, "The approximation of one matrix by another of lower rank", 1936
• Idelbayev & Carreira-Perpiñán, "Low-rank compression of neural nets", CVPR 2020
• weight-modulation