1.1 KiB
1.1 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Amortized Variational Inference（摊销变分推断） | 2026-05-23 | 2026-05-23 | concept |
|
|
medium |
Amortized Variational Inference
GRAM 的训练方法：使用编码器（后验）和生成器（先验）来优化 ELBO，CE loss 驱动预测 + KL divergence 规范潜在空间。
GRAM 中的实现
- 后验 q_phi(z_t | z_{t-1}, y)：知道答案时的推理轨迹
- 先验 p_theta(z_t | z_{t-1}, e_x)：不知道答案时的推理轨迹
- 训练目标: ELBO = E_q[log p(y|z_T)] - KL(q||p)
- CE loss: 确保预测正确
- KL divergence: 确保模型在没有答案时也能产生合理轨迹
为什么用摊销变分推断
- 直接最大化似然 intractable（需要边缘化所有轨迹）
- VI 提供了可微分的训练信号
- 后验网络在训练时提供"老师"信号，测试时只用先验