41 lines
1.3 KiB
Markdown
41 lines
1.3 KiB
Markdown
---
|
||
title: "PLDM (Pretrained Latent Dynamics Model)"
|
||
created: 2026-06-08
|
||
updated: 2026-06-08
|
||
type: concept
|
||
tags: [world-model, JEPA, latent-dynamics, PLDM]
|
||
sources: [raw/papers/maes-leworldmodel-2026.md]
|
||
---
|
||
|
||
# PLDM (Pretrained Latent Dynamics Model)
|
||
|
||
在 [[leworldmodel|LeWorldModel]] 之前**唯一的端到端 JEPA 世界模型**，也是 LeWM 的主要对比基线。
|
||
|
||
## 特点
|
||
|
||
- 端到端训练编码器和预测器（无需预训练编码器）
|
||
- 无需 stop-gradient、EMA 等训练启发式
|
||
- VICReg 风格的多项正则化防[[representation-collapse|表征坍缩]]
|
||
|
||
## 核心问题
|
||
|
||
**超参数过多**：需组合 **7 项损失 + 6 个可调超参**。训练中各损失项互相拉扯，曲线不稳定，调参困难。
|
||
|
||
## LeWorldModel 的改进
|
||
|
||
| 维度 | PLDM | LeWorldModel |
|
||
|------|------|-------------|
|
||
| 损失项 | 7 项 | 2 项 |
|
||
| 可调超参 | 6 个 | 1 个 (λ) |
|
||
| 防坍塌 | VICReg（启发式） | SIGReg（可证明） |
|
||
| 训练稳定性 | 互相拉扯 | 单调收敛 |
|
||
| Push-T | 78% | **96%** (+18%) |
|
||
|
||
PLDM 验证了端到端 JEPA 的可行性，但其工程复杂度暴露了 VICReg 路线在扩展到世界模型时的根本困难，直接推动了 [[sigreg|SIGReg]] 的诞生。
|
||
|
||
## 来源
|
||
|
||
- [[maes-leworldmodel-2026|LeWorldModel 论文]]
|
||
- [[leworldmodel|LeWorldModel 概念]]
|
||
- [[sigreg|SIGReg]]
|