37 lines
1.3 KiB
Markdown
37 lines
1.3 KiB
Markdown
---
|
||
title: "Loss Landscape: 神经网络的损失景观"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [optimization, deep-learning-theory, loss-surface, mode-connectivity]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Loss Landscape (损失景观)
|
||
|
||
Loss Landscape 指将神经网络训练目标 L(θ) 视为参数空间 R^P 上的高维曲面时的几何结构。该视角为理解泛化、优化难度和参数空间结构提供了关键洞察。
|
||
|
||
## 关键发现
|
||
|
||
### 低维结构
|
||
- **Intrinsic Dimension**：深度网络的 objective landscape 的有效内在维度远低于 P（Li et al., 2018）
|
||
- 训练轨迹聚焦在远低于参数空间维度的子空间上
|
||
|
||
### Mode Connectivity
|
||
- SGD 找到的不同局部极小值之间存在**低损路径**（Garipov et al., 2018）
|
||
- 表明有效解分布在连通区域而非孤立点
|
||
|
||
### 平坦 vs 尖锐极小值
|
||
- **平坦极小值**：泛化更好（Keskar et al., 2017）
|
||
- Entropy-SGD 等方法显式偏置梯度下降走向宽阔山谷（Chaudhari et al., 2019）
|
||
|
||
## 对 Mapping Networks 的意义
|
||
|
||
Mapping Networks 通过**结构性约束**将搜索空间限制在低维流形上，自然地偏向发现更平坦、更鲁棒的参数解——这是一种通过架构选择实现隐式正则化的方式。
|
||
|
||
## 参考
|
||
|
||
- [[intrinsic-dimension]]
|
||
- [[manifold-hypothesis]]
|
||
- [[weight-manifold-hypothesis]]
|