2.2 KiB
2.2 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 垂域 LLM 知识工程 (Vertical LLM Knowledge Engineering) | 2026-06-14 | 2026-06-14 | concept |
|
|
垂域 LLM 知识工程 (Vertical LLM Knowledge Engineering)
奇富科技王元提出的 LLM 落地核心范式："通用大模型 + 高质量知识工程" 优于盲目预训练垂类大模型。
核心论点
在专业领域（如金融），通用大模型的推理能力已经足够强。真正的瓶颈不是模型能力，而是领域知识的工程化程度：
- 专业领域数据配合小模型（14B/30B）可以超过通用大模型的 Zero-shot 能力
- 关键是打破数据壁垒，重塑知识引擎
- 实现从通用推理到垂直场景的真正落地
知识工程三大支柱
在金融场景中，知识工程包含三个核心环节：
1. 知识提取
从零散数据中提取结构化知识：
- reer-reverse-knowledge-extraction — 从 QA 对中反向提取业务手册
- LLM Wiki 方法 — 参考 Anthropic Captain 的 Markdown+Git 知识库方案
2. 知识组织
- Markdown 文档 + 文件系统天然结构
- Git 版本管理
- 大模型上下文能力已经足够强，混合搜索甚至可选
3. 知识验证
- Perplexity 下降验证（知识是否有助于推理）
- 端到端任务验证（知识是否提升业务指标）
与"盲目预训练"的对比
| 维度 | 通用模型 + 知识工程 | 垂域预训练 |
|---|---|---|
| 成本 | 低（仅推理+知识维护） | 高（预训练+持续更新） |
| 灵活性 | 高（知识可热更新） | 低（需重新训练） |
| 可解释性 | 高（知识显式可审计） | 低（隐含在参数中） |
| 知识保鲜 | 文件级更新 | 全量或增量训练 |
| 适合模型规模 | 14B/30B 已足够 | 通常需要更大 |
参考
- qifu-llm-finance-practice — 来源分享
- reer-reverse-knowledge-extraction — 知识提取方法
- zero-data-cold-start — 知识工程的极端场景