20260617:目前有914 页
This commit is contained in:
40
concepts/pldm.md
Normal file
40
concepts/pldm.md
Normal file
@@ -0,0 +1,40 @@
|
||||
---
|
||||
title: "PLDM (Pretrained Latent Dynamics Model)"
|
||||
created: 2026-06-08
|
||||
updated: 2026-06-08
|
||||
type: concept
|
||||
tags: [world-model, JEPA, latent-dynamics, PLDM]
|
||||
sources: [raw/papers/maes-leworldmodel-2026.md]
|
||||
---
|
||||
|
||||
# PLDM (Pretrained Latent Dynamics Model)
|
||||
|
||||
在 [[leworldmodel|LeWorldModel]] 之前**唯一的端到端 JEPA 世界模型**,也是 LeWM 的主要对比基线。
|
||||
|
||||
## 特点
|
||||
|
||||
- 端到端训练编码器和预测器(无需预训练编码器)
|
||||
- 无需 stop-gradient、EMA 等训练启发式
|
||||
- VICReg 风格的多项正则化防[[representation-collapse|表征坍缩]]
|
||||
|
||||
## 核心问题
|
||||
|
||||
**超参数过多**:需组合 **7 项损失 + 6 个可调超参**。训练中各损失项互相拉扯,曲线不稳定,调参困难。
|
||||
|
||||
## LeWorldModel 的改进
|
||||
|
||||
| 维度 | PLDM | LeWorldModel |
|
||||
|------|------|-------------|
|
||||
| 损失项 | 7 项 | 2 项 |
|
||||
| 可调超参 | 6 个 | 1 个 (λ) |
|
||||
| 防坍塌 | VICReg(启发式) | SIGReg(可证明) |
|
||||
| 训练稳定性 | 互相拉扯 | 单调收敛 |
|
||||
| Push-T | 78% | **96%** (+18%) |
|
||||
|
||||
PLDM 验证了端到端 JEPA 的可行性,但其工程复杂度暴露了 VICReg 路线在扩展到世界模型时的根本困难,直接推动了 [[sigreg|SIGReg]] 的诞生。
|
||||
|
||||
## 来源
|
||||
|
||||
- [[maes-leworldmodel-2026|LeWorldModel 论文]]
|
||||
- [[leworldmodel|LeWorldModel 概念]]
|
||||
- [[sigreg|SIGReg]]
|
||||
Reference in New Issue
Block a user