myWiki/concepts/pseudo-huber-loss.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Pseudo-Huber 损失	2026-06-22	2026-06-22	concept	robust-statistics loss-function optimization	nano-filter

Pseudo-Huber 损失

Pseudo-Huber loss 是 Huber loss 的光滑可微变体，用于鲁棒回归和离群值处理。在小残差时表现如平方损失（L2），在大残差时切换为线性增长（L1），从而抑制离群值对梯度的过度影响。

定义

\ell_{ph}(x_t, y_t) = \delta^2 \left( \sqrt{1 + (y_t - g(x_t))^2 / \delta^2} - 1 \right)

其中 \delta > 0 控制从二次到线性增长转变的阈值。

在 NANO 鲁棒变体中的作用

nano-filter 的鲁棒变体（基于 gibbs-posterior框架）采用 Pseudo-Huber 损失替代负对数似然：

• 当测量模型误设（传感器故障、未建模动态）时，标准平方损失会因离群值产生巨大梯度
• Pseudo-Huber 损失平滑地截断这种影响，保持估计的可靠性
• 与标准 Huber 损失相比，Pseudo-Huber 处处可微，更适合基于梯度的优化（如 natural-gradient-descent）

参考

• gibbs-posterior
• nano-filter