Mapping Loss (映射损失)

Mapping Loss 是 sen-mapping-networks 的训练损失函数，同时优化下游任务性能和 mapping-theorem 所要求的几何/解析性质。

公式

L_{\text{map}} = L_{\text{task}} + \lambda_{\text{stab}} L_{\text{stab}} + \lambda_{\text{sm}} L_{\text{smooth}} + \lambda_{\text{al}} L_{\text{align}}

其中 λ_stab, λ_smooth, λ_align 均为可训练系数，使网络自适应地平衡各组件。

四组件详解

1. Task Loss (L_task)

标准交叉熵损失，确保生成的参数在下游任务上功能最优：

L_{\text{task}} = -\sum_i y_i \log \hat{y}_i

2. Stability Loss (L_stab)

强制局部 Lipschitz 连续性（对应 Mapping Theorem 的 A1 假设）：

L_{\text{stab}} = \mathbb{E}_{\epsilon \sim \mathcal{N}(0,\sigma^2 I)}\left[\|f_{\theta'}(z+\epsilon) - f_{\theta'}(z)\|^2_2\right]

确保隐向量的小扰动不导致输出大变化。

3. Smoothness Loss (L_smooth)

强制 C² 连续性（对应定理的 A3 假设）：

L_{\text{smooth}} = \|\nabla_z M_\phi(z)\|^2_F

惩罚 Jacobian 的 Frobenius 范数，防止生成的权重空间出现震荡。

4. Alignment Loss (L_align)

保持隐向量与映射权重方向的兼容性：

L_{\text{align}} = 1 - \cos(z, \bar{W}^m)

其中 W̄^m 是调制后投影层的行均值。

消融结果

在 FashionMNIST 上：Task Loss 单独 87.79%，每增加一个组件 +1-2%，全组合达 91.88%。Stability 和 Smoothness 贡献略高于 Alignment。

1.9 KiB Raw Blame History Unescape Escape