---
title: "Loss Landscape: 神经网络的损失景观"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [optimization, deep-learning-theory, loss-surface, mode-connectivity]
sources: ["[[sen-mapping-networks]]"]
---

# Loss Landscape (损失景观)

Loss Landscape 指将神经网络训练目标 L(θ) 视为参数空间 R^P 上的高维曲面时的几何结构。该视角为理解泛化、优化难度和参数空间结构提供了关键洞察。

## 关键发现

### 低维结构
- **Intrinsic Dimension**：深度网络的 objective landscape 的有效内在维度远低于 P（Li et al., 2018）
- 训练轨迹聚焦在远低于参数空间维度的子空间上

### Mode Connectivity
- SGD 找到的不同局部极小值之间存在**低损路径**（Garipov et al., 2018）
- 表明有效解分布在连通区域而非孤立点

### 平坦 vs 尖锐极小值
- **平坦极小值**：泛化更好（Keskar et al., 2017）
- Entropy-SGD 等方法显式偏置梯度下降走向宽阔山谷（Chaudhari et al., 2019）

## 对 Mapping Networks 的意义

Mapping Networks 通过**结构性约束**将搜索空间限制在低维流形上，自然地偏向发现更平坦、更鲁棒的参数解——这是一种通过架构选择实现隐式正则化的方式。

## 参考

- [[intrinsic-dimension]]
- [[manifold-hypothesis]]
- [[weight-manifold-hypothesis]]