20260706:新增一些文章

concepts/loss-landscape.md

@@ -0,0 +1,36 @@
+---
+title: "Loss Landscape: 神经网络的损失景观"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [optimization, deep-learning-theory, loss-surface, mode-connectivity]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# Loss Landscape (损失景观)
+
+Loss Landscape 指将神经网络训练目标 L(θ) 视为参数空间 R^P 上的高维曲面时的几何结构。该视角为理解泛化、优化难度和参数空间结构提供了关键洞察。
+
+## 关键发现
+
+### 低维结构
+- **Intrinsic Dimension**：深度网络的 objective landscape 的有效内在维度远低于 P（Li et al., 2018）
+- 训练轨迹聚焦在远低于参数空间维度的子空间上
+
+### Mode Connectivity
+- SGD 找到的不同局部极小值之间存在**低损路径**（Garipov et al., 2018）
+- 表明有效解分布在连通区域而非孤立点
+
+### 平坦 vs 尖锐极小值
+- **平坦极小值**：泛化更好（Keskar et al., 2017）
+- Entropy-SGD 等方法显式偏置梯度下降走向宽阔山谷（Chaudhari et al., 2019）
+
+## 对 Mapping Networks 的意义
+
+Mapping Networks 通过**结构性约束**将搜索空间限制在低维流形上，自然地偏向发现更平坦、更鲁棒的参数解——这是一种通过架构选择实现隐式正则化的方式。
+
+## 参考
+
+- [[intrinsic-dimension]]
+- [[manifold-hypothesis]]
+- [[weight-manifold-hypothesis]]