20260617:目前有914 页

This commit is contained in:
2026-06-17 15:02:40 +08:00
parent e96b955fda
commit 91fac5b6fc
423 changed files with 20687 additions and 34 deletions

40
concepts/pldm.md Normal file
View File

@@ -0,0 +1,40 @@
---
title: "PLDM (Pretrained Latent Dynamics Model)"
created: 2026-06-08
updated: 2026-06-08
type: concept
tags: [world-model, JEPA, latent-dynamics, PLDM]
sources: [raw/papers/maes-leworldmodel-2026.md]
---
# PLDM (Pretrained Latent Dynamics Model)
在 [[leworldmodel|LeWorldModel]] 之前**唯一的端到端 JEPA 世界模型**,也是 LeWM 的主要对比基线。
## 特点
- 端到端训练编码器和预测器(无需预训练编码器)
- 无需 stop-gradient、EMA 等训练启发式
- VICReg 风格的多项正则化防[[representation-collapse|表征坍缩]]
## 核心问题
**超参数过多**:需组合 **7 项损失 + 6 个可调超参**。训练中各损失项互相拉扯,曲线不稳定,调参困难。
## LeWorldModel 的改进
| 维度 | PLDM | LeWorldModel |
|------|------|-------------|
| 损失项 | 7 项 | 2 项 |
| 可调超参 | 6 个 | 1 个 (λ) |
| 防坍塌 | VICReg启发式 | SIGReg可证明 |
| 训练稳定性 | 互相拉扯 | 单调收敛 |
| Push-T | 78% | **96%** (+18%) |
PLDM 验证了端到端 JEPA 的可行性,但其工程复杂度暴露了 VICReg 路线在扩展到世界模型时的根本困难,直接推动了 [[sigreg|SIGReg]] 的诞生。
## 来源
- [[maes-leworldmodel-2026|LeWorldModel 论文]]
- [[leworldmodel|LeWorldModel 概念]]
- [[sigreg|SIGReg]]