myWiki/concepts/natural-gradient-descent.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
自然梯度下降	2026-06-22	2026-06-22	concept	optimization information-geometry manifold-learning	nano-filter

自然梯度下降

Natural gradient descent 是考虑参数空间几何结构的梯度下降方法。不同于标准梯度下降在欧氏空间中取最陡下降方向，自然梯度利用 Fisher 信息矩阵 F 调整梯度方向，以适配参数空间的曲率（Riemannian 结构）。

更新公式

v^{(i+1)} = v^{(i)} - \eta F_v^{-1} \frac{\partial J}{\partial v}\Big|_{v=v^{(i)}}

其中 F_v 是 Fisher 信息矩阵。与标准梯度下降 v - \eta \nabla J 的区别在于用 F_v^{-1} 对梯度做度量校正。

在高斯流形上的应用

nano-filter 的核心创新：在 gaussian-manifold 上执行自然梯度下降，直接最小化更新步的优化目标 $J(\hat{x}_t, P_t)$，避免传统 Gaussian filter 的线性化误差。Fisher 矩阵在高斯分布 N(x; \hat{x}_t, P_t) 下具有解析形式：

F_v^{-1} = \begin{bmatrix} P_t & 0 \\ 0 & 2(P_t^{-1} \otimes P_t^{-1}) \end{bmatrix}

参考

• gaussian-manifold
• fisher-information-metric
• nano-filter