20260617:目前有914 页
This commit is contained in:
76
articles/cantor-stole-infinity.md
Normal file
76
articles/cantor-stole-infinity.md
Normal file
@@ -0,0 +1,76 @@
|
||||
---
|
||||
title: "窃取无穷的数学家 — 康托尔与狄德金的隐秘合作"
|
||||
created: 2026-06-07
|
||||
updated: 2026-06-07
|
||||
type: article
|
||||
source: "Quanta Magazine / 环球科学 2026年6月刊"
|
||||
tags: [数学史, 集合论, 无穷, 学术伦理]
|
||||
---
|
||||
|
||||
# 窃取无穷的数学家
|
||||
|
||||
> 原文发表于 Quanta Magazine,2026年由《环球科学》翻译。本文揭示了一段尘封150年的数学史真相。
|
||||
|
||||
## 一句话总结
|
||||
|
||||
新发现的信件证明:康托尔1874年那篇奠定集合论的里程碑论文中,隐藏了狄德金的关键贡献——代数数可数性证明。康托尔抹去了合作痕迹,独自署名发表。
|
||||
|
||||
## 核心故事
|
||||
|
||||
### 背景:无穷的禁忌
|
||||
|
||||
19世纪前,数学家视无穷为"毒瘤"。高斯称之为"修辞手法"(façon de parler)。无穷不能在数学中真正存在。
|
||||
|
||||
### 1872年的突破
|
||||
|
||||
康托尔和狄德金各自独立定义了实数——证明了数轴是完备的连续统,无穷"隐匿在每一处缝隙中"。
|
||||
|
||||
### 盖尔绍的友谊
|
||||
|
||||
1872年夏,两人在瑞士盖尔绍湖畔相遇,一见如故。康托尔(27岁)豪爽急躁,狄德金(40岁)内敛审慎——这对奇怪的组合成为挚友。
|
||||
|
||||
### 1873年的合作
|
||||
|
||||
康托尔在探索无穷问题时频繁请教狄德金。狄德金回信提供了代数数可数性的证明及其简化版。康托尔在此基础上补充了自己的实数不可数证明。
|
||||
|
||||
### 1874年的"特洛伊木马"
|
||||
|
||||
面对反无穷派数学权威 [[leopold-kronecker|克罗内克尔]] 的威胁,康托尔精心设计:
|
||||
- 选择误导性标题,只提代数数
|
||||
- 把狄德金证明放在前面,作为"诱饵"
|
||||
- 将革命性的实数不可数结论藏在后面
|
||||
- **抹去狄德金贡献的一切痕迹**,独自署名
|
||||
|
||||
### 真相的浮现
|
||||
|
||||
- **1930年代**:[[emmy-noether|埃米·诺特]] 整理狄德金遗物时发现关键信件,但选择"让信件说明一切"
|
||||
- **1993年**:数学史家费雷罗斯首次公开指控康托尔
|
||||
- **2025年**:科学记者戈斯在哈雷大学档案中发现失踪150年的狄德金回信——直接证据终于浮出水面
|
||||
|
||||
## 数学意义
|
||||
|
||||
康托尔和狄德金的共同工作奠定了 [[infinity-hierarchy|无穷层级体系]] 的基础:
|
||||
|
||||
1. [[algebraic-numbers-countability|代数数可数]] — 狄德金证明
|
||||
2. 实数不可数 — 康托尔证明
|
||||
3. 结论:存在不同大小的无穷
|
||||
|
||||
## 历史反思
|
||||
|
||||
> "每一门科学分支都需要一位英雄……但这种故事总是谎言。" — 何塞·费雷罗斯
|
||||
|
||||
- 康托尔的声誉并未因此受损——他仍是实数不可数性这一更深层发现的首位证明者
|
||||
- 狄德金长期处于历史阴影中,至今无英文传记
|
||||
- 承认狄德金的贡献,让数学史更加完整和真实
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[georg-cantor|格奥尔格·康托尔]]
|
||||
- [[richard-dedekind|里夏德·狄德金]]
|
||||
- [[infinity-hierarchy|无穷层级体系]]
|
||||
- [[countable-uncountable-infinity|可数与不可数无穷]]
|
||||
- [[algebraic-numbers-countability|代数数的可数性]]
|
||||
- [[emmy-noether|埃米·诺特]]
|
||||
- [[leopold-kronecker|利奥波德·克罗内克尔]]
|
||||
- [[mathematical-priority-disputes|数学优先权争议]]
|
||||
- [[set-theory-history|集合论史]]
|
||||
76
articles/lecun-llm-boundary-future.md
Normal file
76
articles/lecun-llm-boundary-future.md
Normal file
@@ -0,0 +1,76 @@
|
||||
---
|
||||
title: "LeCun 论 LLM 的边界与未来架构"
|
||||
created: 2026-06-08
|
||||
updated: 2026-06-08
|
||||
type: article
|
||||
tags: [LLM, JEPA, world-model, VLA, objective-driven-AI, LeCun, representation-collapse, SIGReg, Tapestry]
|
||||
sources: [https://mp.weixin.qq.com/s/Zau10ioTWzhj0KOImpasNg]
|
||||
---
|
||||
|
||||
# LeCun 论 LLM 的边界与未来架构
|
||||
|
||||
> 原文: Datawhale 干货 | 作者: 徐虎、李盛康、蒋银河、黎又榛
|
||||
> 来源: [原始存档](raw/articles/lecun-llm-boundary-future-2026.md)
|
||||
|
||||
## 一句话
|
||||
|
||||
**智能不是关于预测下一个 token,而是关于预测行动的后果。** 这篇文章系统梳理了 LeCun 对 LLM 未来方向的判断:LLM 不会消失但需要"降职",[[jepa|JEPA]] 世界模型 + [[objective-driven-ai|目标驱动AI]] 才是通向通用智能的正确架构。
|
||||
|
||||
## 核心论点
|
||||
|
||||
1. **LLM 的两大结构性缺陷**:缺少[[action-consequence-prediction|预测行动后果的能力]]、缺少[[multi-step-planning|基于搜索的多步规划]]——这些不是数据量或模型规模能修复的。
|
||||
|
||||
2. **[[vla-vision-language-action|VLA]] 路线已接近失败**:可靠性不足、数据成本过高、泛化脆弱、无规划能力。但产业界因其工程成熟度仍在押注。
|
||||
|
||||
3. **[[jepa|JEPA]] 是核心解决方案**:在抽象表征空间中做预测(而非像素或 token 空间),[[leworldmodel|LeWorldModel]] 用 SIGReg 防[[representation-collapse|表征坍缩]],将防坍塌从工程启发式转化为数学上的分布匹配问题。
|
||||
|
||||
4. **[[objective-driven-ai|目标驱动AI]] 提供内生安全**:行为通过优化代价函数驱动,安全约束"从构造上无法违反"——区别于 RLHF 等事后软约束。
|
||||
|
||||
5. **[[tapestry-federated|Tapestry]] 回应[[sovereign-ai|主权AI]]问题**:联邦训练机制,共享参数向量而非数据本身。
|
||||
|
||||
6. **未来三层架构**:LLM(语言皮层)→ [[world-model-lecun|世界模型]](思考引擎)→ 目标驱动决策层(安全保障)。
|
||||
|
||||
## 关键概念网络
|
||||
|
||||
```
|
||||
LLM 局限性
|
||||
├── 数据瓶颈 → [[data-wall]], [[model-collapse|模型崩塌]]
|
||||
├── 结构性缺陷
|
||||
│ ├── [[action-consequence-prediction|预测行动后果]]
|
||||
│ └── [[multi-step-planning|多步规划]]
|
||||
└── 安全性 → [[objective-driven-ai|目标驱动AI]]
|
||||
|
||||
VLA 路线
|
||||
├── 可靠性 → [[vlatest]], [[libero-plus]]
|
||||
├── 泛化 → [[distribution-shift|分布外泛化]]
|
||||
└── 替代方案 → [[jepa|JEPA]] + [[world-model-lecun|世界模型]]
|
||||
|
||||
JEPA 技术栈
|
||||
├── [[abstract-representation-space|抽象表征空间]]
|
||||
├── [[representation-collapse|表征坍缩]] 防范
|
||||
│ ├── [[vicreg|VICReg]] (方差-协方差)
|
||||
│ ├── [[sigreg|SIGReg]] (各向同性高斯)
|
||||
│ └── BYOL/DINO (蒸馏方法)
|
||||
├── [[leworldmodel|LeWorldModel]]
|
||||
└── 应用 → [[world-model-industrial|工业过程控制]]
|
||||
|
||||
开源生态
|
||||
├── [[tapestry-federated|Tapestry 联邦训练]]
|
||||
└── [[sovereign-ai|主权AI]]
|
||||
```
|
||||
|
||||
## 核心洞察
|
||||
|
||||
- **LLM 的成功恰恰是它的局限所在**:离散 token + 可计算预测目标让 LLM 强大,但也锁死了它的能力边界——真实世界不是有限离散符号。
|
||||
- **水瓶类比的深层含义**:像素空间的不可约不确定性意味着,预测必须在语义空间中发生——这不是工程选择,是信息论上的必然。
|
||||
- **表征坍缩是自监督学习的"元问题"**:它暴露了模型天然"偷懒"倾向与信息承载需求之间的根本张力。
|
||||
- **目标驱动AI vs LLM 的根本差异**:前者是架构上的"不可能做坏事"(硬约束),后者是概率上的"不太可能做坏事"(软约束)。
|
||||
|
||||
## 阅读导航
|
||||
|
||||
- 了解 JEPA 技术细节 → [[jepa]]
|
||||
- 了解世界模型理论 → [[world-model-lecun]]
|
||||
- 了解 VLA 为何失败 → [[vla-vision-language-action]]
|
||||
- 了解表征坍缩与解决方案 → [[representation-collapse]] → [[sigreg]]
|
||||
- 了解安全的替代路径 → [[objective-driven-ai]]
|
||||
- 了解开源生态布局 → [[tapestry-federated]], [[sovereign-ai]]
|
||||
83
articles/pydantic-three-piece-suite.md
Normal file
83
articles/pydantic-three-piece-suite.md
Normal file
@@ -0,0 +1,83 @@
|
||||
---
|
||||
title: "Pydantic 三件套:从校验库到 AI 基础设施"
|
||||
created: 2026-06-10
|
||||
updated: 2026-06-10
|
||||
type: article
|
||||
tags: [pydantic, agent, observability, open-telemetry, validation]
|
||||
sources: [raw/articles/pydantic-three-piece-suite-2026.md]
|
||||
---
|
||||
|
||||
# Pydantic 三件套:从校验库到 AI 基础设施
|
||||
|
||||
> 微信公众号 | 2026年
|
||||
> Pydantic 不只是 BaseModel——Rust 验证引擎 + OTel 可观测平台 + 类型安全 Agent 框架
|
||||
|
||||
## TL;DR
|
||||
|
||||
- [[pydantic]] 生态三层:[[pydantic-core|Rust 引擎]] + [[logfire|Logfire 可观测]] + [[pydantic-ai|Pydantic AI Agent 框架]]
|
||||
- **strict + forbid + frozen 三配置零成本立即生效**
|
||||
- Logfire 四行代码接入,debug 从半天降到分钟级
|
||||
- Pydantic AI 让类型系统约束 Agent 行为,而非仅事后校验
|
||||
|
||||
## 核心问题
|
||||
|
||||
LLM 时代的校验需求已经变了。人填的表单错误模式稳定,LLM 输出的 JSON 错误模式**漂移**——同样的 prompt 跑 100 次,第 1 次可能字段名少了条下划线,第 47 次可能多了个字段,第 89 次可能把 str 塞了 None。
|
||||
|
||||
传统的 BaseModel 只能告诉你「第 47 次错了」,但你需要的是 [[drift-detection|漂移检测]]——哪个字段一直在漂?哪个模型输出最不稳定?token 成本是不是偷偷在涨?
|
||||
|
||||
## 三件套全景
|
||||
|
||||
| 层 | 解决的问题 | 不用的话 |
|
||||
|---|-----------|---------|
|
||||
| [[pydantic-core|pydantic-core (Rust)]] | 校验速度 / 脱离 GIL | 多线程校验串行 |
|
||||
| [[logfire|Logfire (OTel)]] | 可观测 / 成本监控 / 漂移检测 | 只知"第 47 次错" |
|
||||
| [[pydantic-ai|Pydantic AI]] | Agent 行为约束 / 类型安全 tool 调用 | 手写 JSON Schema + 事后校验 |
|
||||
|
||||
三层独立,共享同一套类型定义。可任意叠加。
|
||||
|
||||
## 第一件:pydantic-core
|
||||
|
||||
Rust 写的物理引擎,通过 PyO3 绑定。`model_validate(data)` 的实际路径:Python → CoreSchema JSON → Rust 层逐字段校验 → 返回。**步骤 2-4 全部在 Rust 侧完成,不走 GIL**。配合 `asyncio.gather()` 并发调 20 个 LLM API 时,每个回复的 JSON 解析可在不同线程并行跑 Rust 校验。
|
||||
|
||||
**[[typeadapter|TypeAdapter]]**:同一份数据,不同严格度——API 入口用 strict,Agent 内部传递用宽松,不用写两套模型。
|
||||
|
||||
**三个零成本配置**:
|
||||
```python
|
||||
model_config = {
|
||||
"strict": True, # 空字符串不会变 0,类型不匹配直接炸
|
||||
"extra": "forbid", # LLM 多塞字段立刻报错
|
||||
"frozen": True, # 模块间传递不可篡改
|
||||
}
|
||||
```
|
||||
|
||||
## 第二件:Logfire
|
||||
|
||||
基于 [[open-telemetry|OpenTelemetry]] 标准的可观测平台。核心价值:
|
||||
- **4 行代码**拿到完整 Agent span 树(根 → model request → tool 调用 → follow-up)
|
||||
- **OTel 标准**:数据不锁定厂商,可自托管或导出到 Grafana/Jaeger
|
||||
- **SQL 查询 trace**:不是点按钮过滤,是写 SQL 查 [[drift-detection|漂移趋势]]
|
||||
|
||||
真实案例:Sophos 安全团队发现 Agent 调用某个 tool 的频率从每 50 次推理 1 次涨到每 8 次 1 次——传统日志只看调用成功与否,Logfire 的 SQL 查询揭示了频率异常。
|
||||
|
||||
## 第三件:Pydantic AI
|
||||
|
||||
把 Pydantic 的类型系统直接嵌入 Agent 运行时——类型从"报错器"变成"编译器",在运行时之前就约束了 Agent 的行为空间。
|
||||
|
||||
- `@agent.tool` 自动从函数签名推断 tool schema(不需手写 JSON Schema)
|
||||
- `result.data` 类型安全,IDE 补全可用
|
||||
- 多步 Agent 支持(多次推理 + 多次 tool 调用)
|
||||
- `instrument=True` 自动接 Logfire trace
|
||||
|
||||
与 Instructor 的定位差异:单次 LLM 结构化输出 → Instructor;多步推理 + 多 tool 调用的 Agent → Pydantic AI。
|
||||
|
||||
## 渐进路线图
|
||||
|
||||
1. **今天 (5min)**:所有 BaseModel 加 `strict=True, extra='forbid', validate_default=True`
|
||||
2. **这周**:有 Agent 就加 Logfire,4 行代码
|
||||
3. **下次新 Agent 项目**:tool > 3 就试 Pydantic AI
|
||||
|
||||
## 参考
|
||||
|
||||
- [[agent-observability|Agent 可观测性]]
|
||||
- [[type-safety-in-agents|Agent 类型安全]]
|
||||
- [原始存档](raw/articles/pydantic-three-piece-suite-2026.md)
|
||||
83
articles/qifu-llm-finance-practice.md
Normal file
83
articles/qifu-llm-finance-practice.md
Normal file
@@ -0,0 +1,83 @@
|
||||
---
|
||||
title: "金融行业大模型落地实践:从知识工程到后训练部署"
|
||||
created: 2026-06-14
|
||||
updated: 2026-06-14
|
||||
type: article
|
||||
tags: [finance, llm-deployment, knowledge-engineering, post-training, agent]
|
||||
sources: [raw/articles/qifu-llm-finance-practice-2026.md]
|
||||
confidence: high
|
||||
---
|
||||
|
||||
# 金融行业大模型落地实践
|
||||
|
||||
> 奇富科技 DeepBank 王元在 2026 DA 上海站的分享 — DataFun 出品
|
||||
|
||||
**核心主张:** 在专业领域,"通用大模型 + 高质量知识工程"的路径比盲目预训练垂类大模型更具商业价值。
|
||||
|
||||
## 冰山难题:三重落地阻碍
|
||||
|
||||
金融行业面临 LLM 落地的独特困境:
|
||||
|
||||
1. **[[zero-data-cold-start|零数据困境]]** — 输入 X 和标签 Y 都不存在,连监督微调都无法启动
|
||||
2. **评估盲区** — 生成式输出的营销策略推荐缺乏标准答案
|
||||
3. **算力与合规壁垒** — 必须本地化部署,受限硬件预算和延时要求
|
||||
|
||||
## 知识工程
|
||||
|
||||
### REER 逆向知识提炼
|
||||
|
||||
如何从仅有的 QA 对中提取可复用的知识?借鉴字节跳动的 REER 算法,[[reer-reverse-knowledge-extraction|四步流程]]:
|
||||
1. 大模型逆向分析 X→Y 关系,生成推理轨迹
|
||||
2. 剥离"内心独白",提取通用话术逻辑 → SUM
|
||||
3. 按业务分类聚合 → 行动手册
|
||||
4. 迭代优化:Perplexity 下降 + 端到端坐席回复相似度验证
|
||||
|
||||
### 多维合成数据
|
||||
|
||||
[[multi-dimensional-synthetic-data|三维度构建训练数据多样性]]:
|
||||
- 企业客户多样性(行业资产、贸易特征、资金状况)
|
||||
- 录音场景多样性(噪音层级、纯闲聊、对抗负样本)
|
||||
- 录制人多样性(谨慎新手 vs 老练资深经理)
|
||||
|
||||
## 后训练策略
|
||||
|
||||
### 成本博弈
|
||||
|
||||
| 方案 | 成本 | 适用场景 |
|
||||
|------|------|---------|
|
||||
| SFT 微调 | 低 | 结构化任务、指令遵循 |
|
||||
| [[post-hoc-reasoning-rl|后置推理 RL]] | 中 | 追求可解释性,无需拒绝采样 |
|
||||
| [[pre-hoc-reasoning-rl|前置推理 RL]] | 高 | 正统 RL,需 Dense 模型 |
|
||||
|
||||
### [[moe-lora-toolchain-conflict|MOE + LoRA 工具链冲突]]
|
||||
|
||||
VeRL 框架不支持 MOE 模型的 RL+LoRA 后训练,部分场景被迫退回全参微调。
|
||||
|
||||
### [[automatic-prompt-optimization|APO 自动提示工程]]
|
||||
|
||||
- System prompt 不宜过长,User prompt 约束力更强
|
||||
- Batch 处理更新,APO 本质是蒙特卡洛过程
|
||||
- Trace 可优化函数、提示词、工具描述
|
||||
- 验证集维护帕累托前沿
|
||||
|
||||
## 推理与评估
|
||||
|
||||
### [[emotional-value-evaluation|情绪价值评估]]
|
||||
|
||||
在金融科技项目中,"情绪价值"往往先于业务效果被感知。引入心理学方法构建评估器:先提供"看着像"的情绪价值,再追求成功率。
|
||||
|
||||
### 推理加速
|
||||
|
||||
MOE 架构在吞吐量上有明显优势。任务卡数多于模型数时,多个 Int8 量化 Merge 模型收益可能高于 1 个基模挂多个 LoRA。
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[reer-reverse-knowledge-extraction|REER 逆向知识提炼]] — 从 QA 对中反向提取业务手册
|
||||
- [[multi-dimensional-synthetic-data|多维合成数据]] — 零数据场景的训练数据构建
|
||||
- [[post-hoc-reasoning-rl|后置推理 RL]] — 性价比更高的推理方案
|
||||
- [[pre-hoc-reasoning-rl|前置推理 RL]] — 正统但昂贵的 RL 路径
|
||||
- [[automatic-prompt-optimization|APO 自动提示工程]] — 高质量 Base Prompt 基线生成
|
||||
- [[emotional-value-evaluation|情绪价值评估]] — LLM 在业务中的主观质量度量
|
||||
- [[moe-lora-toolchain-conflict|MOE + LoRA 工具链冲突]] — 后训练的现实阻碍
|
||||
- [[zero-data-cold-start|零数据冷启动]] — X 和 Y 都缺失的极端场景
|
||||
- [[vertical-llm-knowledge-engineering|垂域 LLM 知识工程]] — 通用模型 + 领域知识的落地范式
|
||||
Reference in New Issue
Block a user