1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Loss Landscape: 神经网络的损失景观 | 2026-06-25 | 2026-06-25 | concept |
|
|
Loss Landscape (损失景观)
Loss Landscape 指将神经网络训练目标 L(θ) 视为参数空间 R^P 上的高维曲面时的几何结构。该视角为理解泛化、优化难度和参数空间结构提供了关键洞察。
关键发现
低维结构
- Intrinsic Dimension：深度网络的 objective landscape 的有效内在维度远低于 P（Li et al., 2018）
- 训练轨迹聚焦在远低于参数空间维度的子空间上
Mode Connectivity
- SGD 找到的不同局部极小值之间存在低损路径（Garipov et al., 2018）
- 表明有效解分布在连通区域而非孤立点
平坦 vs 尖锐极小值
- 平坦极小值：泛化更好（Keskar et al., 2017）
- Entropy-SGD 等方法显式偏置梯度下降走向宽阔山谷（Chaudhari et al., 2019）
对 Mapping Networks 的意义
Mapping Networks 通过结构性约束将搜索空间限制在低维流形上，自然地偏向发现更平坦、更鲁棒的参数解——这是一种通过架构选择实现隐式正则化的方式。