20260617:目前有914 页

reviews/lecun-llm-20260608.md

@@ -0,0 +1,91 @@
+---
+title: "Review: LeCun 论 LLM 的边界与未来架构"
+created: 2026-06-08
+type: review
+subject: lecun-llm-boundary-future
+---
+
+# 📌 Review: LeCun 论 LLM 的边界与未来架构
+
+**基本信息**
+- 来源：Datawhale 公众号 (https://mp.weixin.qq.com/s/Zau10ioTWzhj0KOImpasNg)
+- 作者：徐虎、李盛康、蒋银河、黎又榛
+- 类型：工程教程 / 体系化综述
+- 添加时间：2026-06-08
+- 所属项目：Datawhale DIY-LLM
+
+---
+
+## 🎯 核心概念
+
+1. **[[jepa|JEPA]]** — 联合嵌入预测架构，在抽象表征空间（非像素/非token）做预测的自监督学习范式，是 LeCun 世界模型路线的核心方法论
+2. **[[world-model-lecun|LeCun 世界模型]]** — "能让智能体预测自身行动后果的事物"，服务规划而非生成，区别于 Dreamer/Sora 等生成式路线
+3. **[[vla-vision-language-action|VLA]]** — 视觉-语言-动作模型，LeCun 判断"基本失败"，四个层面：可靠性、数据成本、泛化、规划
+4. **[[representation-collapse|表征坍缩]]** — JEPA 最难问题，模型将所有输入映射为同一向量来"作弊"。三条解决路线中 SIGReg 最被看好
+5. **[[sigreg|SIGReg]]** — Cramér-Wold 定理驱动的防坍塌方案，强制嵌入分布匹配各向同性高斯分布，将防坍塌从工程启发式转化为数学问题
+6. **[[objective-driven-ai|目标驱动AI]]** — 替代 LLM 的安全架构，行为通过优化代价函数驱动，"从构造上无法违反"安全约束
+7. **[[tapestry-federated|Tapestry]]** — 联邦式全球训练，贡献者共享参数向量而非数据，对主权AI的工程回应
+8. **[[leworldmodel|LeWorldModel]]** — 首个端到端 JEPA 世界模型，15M 参数，Push-T 成功率 96%，规划速度比 DINO-WM 快 50×
+
+---
+
+## 🔗 概念网络
+
+**核心链路**：
+```
+LLM 结构性缺陷
+  ├── [[action-consequence-prediction|预测行动后果]] ← [[jepa|JEPA]] 解决
+  └── [[multi-step-planning|多步规划]] ← [[world-model-lecun|世界模型]] + [[objective-driven-ai|目标驱动AI]] 解决
+
+JEPA 技术树
+  ├── [[abstract-representation-space|抽象表征空间]]（预测空间）
+  ├── [[representation-collapse|表征坍缩]]（核心挑战）
+  │     ├── [[vicreg|VICReg]]（3项损失）
+  │     └── [[sigreg|SIGReg]]（1个超参）← 当前最优
+  └── [[leworldmodel|LeWorldModel]]（工程验证）
+
+安全路径分叉
+  ├── LLM: RLHF/宪法AI → 概率性软约束 → 可越狱
+  └── [[objective-driven-ai|目标驱动AI]]: 代价函数优化 → 架构硬约束 → "从构造上无法违反"
+
+开源生态
+  ├── [[data-wall|数据墙]] → 公开文本枯竭
+  ├── [[tapestry-federated|Tapestry]] → 私域数据联邦接入
+  └── [[sovereign-ai|主权AI]] → 认知主权诉求
+```
+
+**扩展连接**：
+- JEPA ↔ [[internal-world-model|涌现式世界模型]]（CTM，对比视角）
+- [[data-wall|数据墙]] ↔ [[model-collapse-step|模型崩塌]]（合成数据风险）
+- [[world-model-lecun|LeCun 世界模型]] ↔ [[jepa|JEPA]] ↔ [[objective-driven-ai|目标驱动AI]]（三位一体架构）
+
+---
+
+## 📚 Wiki 集成详情
+
+- **新增：15 页**（1 文章 + 14 概念）
+- **总规模**：647 → **662 页**
+- **链接密度**：核心概念平均 8+ 个交叉引用
+- **文章类别**：`articles/`（工程教程/公众号文章）
+- **来源关联**：[[raw/articles/lecun-llm-boundary-future-2026|raw 存档]]
+
+---
+
+## 💡 关键洞察
+
+1. **LLM 的成功正是它的局限所在**：离散 token + 可计算预测目标让 LLM 强大，但也锁死了它的能力边界——真实世界不是有限离散符号集。这解释了为什么"加强版 LLM"（RAG/CoT/ToolUse）无法跨越"理解物理世界"这道墙。
+
+2. **水瓶类比的深层含义是信息论级别的**：像素空间的条件熵 $H(pixel|context)$ 极高——不是在工程上不方便，而是在信息论上不可约。JEPA 选择在语义空间做预测不是 taste 问题，是必然。这从根本上否定了生成式世界模型（Sora 类）的技术路线。
+
+3. **安全问题的范式分叉**：目标驱动AI vs LLM 的安全差异不是在"做得更好"，而是两个完全不同的安全范式——前者是架构上的"不可能"，后者是概率上的"不太可能"。这个差异的价值在越狱攻击面前会被急剧放大。
+
+4. **这篇文章的真正价值**：不是介绍了什么新技术，而是把 LeCun 散落在访谈/推文/论文中的碎片化观点连成了一条完整的逻辑线，让读者能看清"他为什么这么想"而不仅是"他想了什么"。
+
+---
+
+## 📎 阅读路径
+
+- 快速了解 → [[lecun-llm-boundary-future|文章主页面]]
+- 技术深挖 → [[jepa|JEPA]] → [[sigreg|SIGReg]] → [[leworldmodel|LeWorldModel]]
+- 安全视角 → [[objective-driven-ai|目标驱动AI]]
+- 生态视角 → [[tapestry-federated|Tapestry]] → [[sovereign-ai|主权AI]]