20260706:新增一些文章

concepts/low-rank-decomposition.md

@@ -0,0 +1,34 @@
+---
+title: "Low-Rank Decomposition: 神经网络低秩压缩"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [model-compression, matrix-factorization, efficient-inference]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# Low-Rank Decomposition (低秩分解)
+
+Low-Rank Decomposition (LRD) 是神经网络压缩的经典技术：将全连接层的权重矩阵 W ∈ R^{m×n} 近似分解为两个较小矩阵的乘积：
+
+$$W \approx UV^\top$$
+
+其中 U ∈ R^{m×r}，V ∈ R^{n×r}，且 r ≪ min(m, n)。参数量从 mn → r(m + n)。
+
+## 在 Mapping Networks 中的应用
+
+Mapping Networks 可以用 LRD 进一步降低映射网络的存储需求：不直接生成 W，而是生成 U 和 V 两个更小的矩阵，显著减少映射网络的固定权重数量。
+
+## 相关技术
+
+- **SVD 截断**：基于奇异值分解的后训练压缩
+- **Pruning**：稀疏化——移除不重要连接
+- **Quantization**：降低权重位宽
+
+这三种技术与 Mapping Networks 正交，可以组合使用——如 Table 8 所示，Ours* + LRD 和 Ours* + Prune 均保持可用精度。
+
+## 参考
+
+- Eckart & Young, "The approximation of one matrix by another of lower rank", 1936
+- Idelbayev & Carreira-Perpiñán, "Low-rank compression of neural nets", CVPR 2020
+- [[weight-modulation]]