--- title: "Pseudo-Huber 损失" created: 2026-06-22 updated: 2026-06-22 type: concept tags: [robust-statistics, loss-function, optimization] sources: [nano-filter] --- # Pseudo-Huber 损失 Pseudo-Huber loss 是 Huber loss 的光滑可微变体,用于鲁棒回归和离群值处理。在小残差时表现如平方损失(L2),在大残差时切换为线性增长(L1),从而抑制离群值对梯度的过度影响。 ## 定义 $$ \ell_{ph}(x_t, y_t) = \delta^2 \left( \sqrt{1 + (y_t - g(x_t))^2 / \delta^2} - 1 \right) $$ 其中 $\delta > 0$ 控制从二次到线性增长转变的阈值。 ## 在 NANO 鲁棒变体中的作用 [[nano-filter|NANO filter]] 的鲁棒变体(基于 [[gibbs-posterior|Gibbs 后验]]框架)采用 Pseudo-Huber 损失替代负对数似然: - 当测量模型误设(传感器故障、未建模动态)时,标准平方损失会因离群值产生巨大梯度 - Pseudo-Huber 损失平滑地截断这种影响,保持估计的可靠性 - 与标准 Huber 损失相比,Pseudo-Huber 处处可微,更适合基于梯度的优化(如 [[natural-gradient-descent|自然梯度]]) ## 参考 - [[gibbs-posterior|Gibbs Posterior]] - [[nano-filter|NANO Filter]]