32 lines
1.2 KiB
Markdown
32 lines
1.2 KiB
Markdown
---
|
||
title: "Pseudo-Huber 损失"
|
||
created: 2026-06-22
|
||
updated: 2026-06-22
|
||
type: concept
|
||
tags: [robust-statistics, loss-function, optimization]
|
||
sources: [nano-filter]
|
||
---
|
||
|
||
# Pseudo-Huber 损失
|
||
|
||
Pseudo-Huber loss 是 Huber loss 的光滑可微变体，用于鲁棒回归和离群值处理。在小残差时表现如平方损失（L2），在大残差时切换为线性增长（L1），从而抑制离群值对梯度的过度影响。
|
||
|
||
## 定义
|
||
|
||
$$
|
||
\ell_{ph}(x_t, y_t) = \delta^2 \left( \sqrt{1 + (y_t - g(x_t))^2 / \delta^2} - 1 \right)
|
||
$$
|
||
|
||
其中 $\delta > 0$ 控制从二次到线性增长转变的阈值。
|
||
|
||
## 在 NANO 鲁棒变体中的作用
|
||
|
||
[[nano-filter|NANO filter]] 的鲁棒变体（基于 [[gibbs-posterior|Gibbs 后验]]框架）采用 Pseudo-Huber 损失替代负对数似然：
|
||
- 当测量模型误设（传感器故障、未建模动态）时，标准平方损失会因离群值产生巨大梯度
|
||
- Pseudo-Huber 损失平滑地截断这种影响，保持估计的可靠性
|
||
- 与标准 Huber 损失相比，Pseudo-Huber 处处可微，更适合基于梯度的优化（如 [[natural-gradient-descent|自然梯度]]）
|
||
|
||
## 参考
|
||
- [[gibbs-posterior|Gibbs Posterior]]
|
||
- [[nano-filter|NANO Filter]]
|