20260601

concepts/amortized-variational-inference.md

@@ -0,0 +1,32 @@
+---
+title: "Amortized Variational Inference（摊销变分推断）"
+created: 2026-05-23
+updated: 2026-05-23
+type: concept
+tags: [training, variational-inference, probabilistic, vae]
+sources: [raw/papers/gram-generative-recursive-reasoning-2026.md]
+confidence: medium
+---
+
+# Amortized Variational Inference
+
+> GRAM 的训练方法：使用编码器（后验）和生成器（先验）来优化 ELBO，CE loss 驱动预测 + KL divergence 规范潜在空间。
+
+## GRAM 中的实现
+
+- **后验 q_phi(z_t | z_{t-1}, y)**：知道答案时的推理轨迹
+- **先验 p_theta(z_t | z_{t-1}, e_x)**：不知道答案时的推理轨迹
+- **训练目标**: ELBO = E_q[log p(y|z_T)] - KL(q||p)
+- **CE loss**: 确保预测正确
+- **KL divergence**: 确保模型在没有答案时也能产生合理轨迹
+
+## 为什么用摊销变分推断
+
+- 直接最大化似然 intractable（需要边缘化所有轨迹）
+- VI 提供了可微分的训练信号
+- 后验网络在训练时提供"老师"信号，测试时只用先验
+
+## 相关概念
+
+- [[latent-variable-generative-model]]
+- [[gram-generative-recursive-reasoning|GRAM]]