20260625:很多新内容

concepts/natural-gradient-descent.md

@@ -0,0 +1,33 @@
+---
+title: "自然梯度下降"
+created: 2026-06-22
+updated: 2026-06-22
+type: concept
+tags: [optimization, information-geometry, manifold-learning]
+sources: [nano-filter]
+---
+
+# 自然梯度下降
+
+Natural gradient descent 是考虑参数空间几何结构的梯度下降方法。不同于标准梯度下降在欧氏空间中取最陡下降方向，自然梯度利用 **Fisher 信息矩阵** $F$ 调整梯度方向，以适配参数空间的曲率（Riemannian 结构）。
+
+## 更新公式
+
+$$
+v^{(i+1)} = v^{(i)} - \eta F_v^{-1} \frac{\partial J}{\partial v}\Big|_{v=v^{(i)}}
+$$
+
+其中 $F_v$ 是 Fisher 信息矩阵。与标准梯度下降 $v - \eta \nabla J$ 的区别在于用 $F_v^{-1}$ 对梯度做度量校正。
+
+## 在高斯流形上的应用
+
+[[nano-filter|NANO filter]] 的核心创新：在 [[gaussian-manifold|高斯流形]] 上执行自然梯度下降，直接最小化更新步的优化目标 $J(\hat{x}_t, P_t)$，避免传统 Gaussian filter 的线性化误差。Fisher 矩阵在高斯分布 $N(x; \hat{x}_t, P_t)$ 下具有解析形式：
+
+$$
+F_v^{-1} = \begin{bmatrix} P_t & 0 \\ 0 & 2(P_t^{-1} \otimes P_t^{-1}) \end{bmatrix}
+$$
+
+## 参考
+- [[gaussian-manifold|Gaussian Manifold]]
+- [[fisher-information-metric|Fisher Information Metric]]
+- [[nano-filter|NANO Filter]]