1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| PLDM (Pretrained Latent Dynamics Model) | 2026-06-08 | 2026-06-08 | concept |
|
|
PLDM (Pretrained Latent Dynamics Model)
在 leworldmodel 之前唯一的端到端 JEPA 世界模型，也是 LeWM 的主要对比基线。
特点
- 端到端训练编码器和预测器（无需预训练编码器）
- 无需 stop-gradient、EMA 等训练启发式
- VICReg 风格的多项正则化防representation-collapse
核心问题
超参数过多：需组合 7 项损失 + 6 个可调超参。训练中各损失项互相拉扯，曲线不稳定，调参困难。
LeWorldModel 的改进
| 维度 | PLDM | LeWorldModel |
|---|---|---|
| 损失项 | 7 项 | 2 项 |
| 可调超参 | 6 个 | 1 个 (λ) |
| 防坍塌 | VICReg（启发式） | SIGReg（可证明） |
| 训练稳定性 | 互相拉扯 | 单调收敛 |
| Push-T | 78% | 96% (+18%) |
PLDM 验证了端到端 JEPA 的可行性，但其工程复杂度暴露了 VICReg 路线在扩展到世界模型时的根本困难，直接推动了 sigreg 的诞生。