4.9 KiB
4.9 KiB
title, created, type, subject
| title | created | type | subject |
|---|---|---|---|
| Review: LeCun 论 LLM 的边界与未来架构 | 2026-06-08 | review | lecun-llm-boundary-future |
📌 Review: LeCun 论 LLM 的边界与未来架构
基本信息
- 来源：Datawhale 公众号 (https://mp.weixin.qq.com/s/Zau10ioTWzhj0KOImpasNg)
- 作者：徐虎、李盛康、蒋银河、黎又榛
- 类型：工程教程 / 体系化综述
- 添加时间：2026-06-08
- 所属项目：Datawhale DIY-LLM
🎯 核心概念
- jepa — 联合嵌入预测架构，在抽象表征空间（非像素/非token）做预测的自监督学习范式，是 LeCun 世界模型路线的核心方法论
- world-model-lecun — "能让智能体预测自身行动后果的事物"，服务规划而非生成，区别于 Dreamer/Sora 等生成式路线
- vla-vision-language-action — 视觉-语言-动作模型，LeCun 判断"基本失败"，四个层面：可靠性、数据成本、泛化、规划
- representation-collapse — JEPA 最难问题，模型将所有输入映射为同一向量来"作弊"。三条解决路线中 SIGReg 最被看好
- sigreg — Cramér-Wold 定理驱动的防坍塌方案，强制嵌入分布匹配各向同性高斯分布，将防坍塌从工程启发式转化为数学问题
- objective-driven-ai — 替代 LLM 的安全架构，行为通过优化代价函数驱动，"从构造上无法违反"安全约束
- tapestry-federated — 联邦式全球训练，贡献者共享参数向量而非数据，对主权AI的工程回应
- leworldmodel — 首个端到端 JEPA 世界模型，15M 参数，Push-T 成功率 96%，规划速度比 DINO-WM 快 50×
🔗 概念网络
核心链路：
LLM 结构性缺陷
├── [[action-consequence-prediction|预测行动后果]] ← [[jepa|JEPA]] 解决
└── [[multi-step-planning|多步规划]] ← [[world-model-lecun|世界模型]] + [[objective-driven-ai|目标驱动AI]] 解决
JEPA 技术树
├── [[abstract-representation-space|抽象表征空间]]（预测空间）
├── [[representation-collapse|表征坍缩]]（核心挑战）
│ ├── [[vicreg|VICReg]]（3项损失）
│ └── [[sigreg|SIGReg]]（1个超参）← 当前最优
└── [[leworldmodel|LeWorldModel]]（工程验证）
安全路径分叉
├── LLM: RLHF/宪法AI → 概率性软约束 → 可越狱
└── [[objective-driven-ai|目标驱动AI]]: 代价函数优化 → 架构硬约束 → "从构造上无法违反"
开源生态
├── [[data-wall|数据墙]] → 公开文本枯竭
├── [[tapestry-federated|Tapestry]] → 私域数据联邦接入
└── [[sovereign-ai|主权AI]] → 认知主权诉求
扩展连接：
- JEPA ↔ internal-world-model（CTM，对比视角）
- data-wall ↔ model-collapse-step（合成数据风险）
- world-model-lecun ↔ jepa ↔ objective-driven-ai（三位一体架构）
📚 Wiki 集成详情
- 新增：15 页（1 文章 + 14 概念）
- 总规模：647 → 662 页
- 链接密度：核心概念平均 8+ 个交叉引用
- 文章类别：
articles/（工程教程/公众号文章） - 来源关联：raw/articles/lecun-llm-boundary-future-2026
💡 关键洞察
-
LLM 的成功正是它的局限所在：离散 token + 可计算预测目标让 LLM 强大，但也锁死了它的能力边界——真实世界不是有限离散符号集。这解释了为什么"加强版 LLM"（RAG/CoT/ToolUse）无法跨越"理解物理世界"这道墙。
-
水瓶类比的深层含义是信息论级别的：像素空间的条件熵
H(pixel|context)极高——不是在工程上不方便，而是在信息论上不可约。JEPA 选择在语义空间做预测不是 taste 问题，是必然。这从根本上否定了生成式世界模型（Sora 类）的技术路线。 -
安全问题的范式分叉：目标驱动AI vs LLM 的安全差异不是在"做得更好"，而是两个完全不同的安全范式——前者是架构上的"不可能"，后者是概率上的"不太可能"。这个差异的价值在越狱攻击面前会被急剧放大。
-
这篇文章的真正价值：不是介绍了什么新技术，而是把 LeCun 散落在访谈/推文/论文中的碎片化观点连成了一条完整的逻辑线，让读者能看清"他为什么这么想"而不仅是"他想了什么"。
📎 阅读路径
- 快速了解 → lecun-llm-boundary-future
- 技术深挖 → jepa → sigreg → leworldmodel
- 安全视角 → objective-driven-ai
- 生态视角 → tapestry-federated → sovereign-ai