20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

60
concepts/mapping-loss.md Normal file
View File

@@ -0,0 +1,60 @@
---
title: "Mapping Loss: 联合任务与几何约束的损失函数"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [loss-function, mapping-networks, regularization, lipschitz-continuity]
sources: ["[[sen-mapping-networks]]"]
---
# Mapping Loss (映射损失)
Mapping Loss 是 [[sen-mapping-networks|Mapping Networks]] 的训练损失函数,同时优化下游任务性能和 [[mapping-theorem|Mapping Theorem]] 所要求的几何/解析性质。
## 公式
$$L_{\text{map}} = L_{\text{task}} + \lambda_{\text{stab}} L_{\text{stab}} + \lambda_{\text{sm}} L_{\text{smooth}} + \lambda_{\text{al}} L_{\text{align}}$$
其中 λ_stab, λ_smooth, λ_align 均为**可训练系数**,使网络自适应地平衡各组件。
## 四组件详解
### 1. Task Loss (L_task)
标准交叉熵损失,确保生成的参数在下游任务上功能最优:
$$L_{\text{task}} = -\sum_i y_i \log \hat{y}_i$$
### 2. Stability Loss (L_stab)
强制**局部 Lipschitz 连续性**(对应 Mapping Theorem 的 A1 假设):
$$L_{\text{stab}} = \mathbb{E}_{\epsilon \sim \mathcal{N}(0,\sigma^2 I)}\left[\|f_{\theta'}(z+\epsilon) - f_{\theta'}(z)\|^2_2\right]$$
确保隐向量的小扰动不导致输出大变化。
### 3. Smoothness Loss (L_smooth)
强制 **C² 连续性**(对应定理的 A3 假设):
$$L_{\text{smooth}} = \|\nabla_z M_\phi(z)\|^2_F$$
惩罚 Jacobian 的 Frobenius 范数,防止生成的权重空间出现震荡。
### 4. Alignment Loss (L_align)
保持隐向量与映射权重方向的兼容性:
$$L_{\text{align}} = 1 - \cos(z, \bar{W}^m)$$
其中 W̄^m 是调制后投影层的行均值。
## 消融结果
在 FashionMNIST 上Task Loss 单独 87.79%,每增加一个组件 +1-2%,全组合达 91.88%。Stability 和 Smoothness 贡献略高于 Alignment。
## 参考
- [[lipschitz-continuity]]
- [[mapping-theorem]]
- [[solvability-theorem]]