42 lines
2.3 KiB
Markdown
42 lines
2.3 KiB
Markdown
---
|
||
title: "REER 逆向知识提炼"
|
||
created: 2026-06-14
|
||
updated: 2026-06-14
|
||
type: concept
|
||
tags: [knowledge-engineering, llm, reverse-extraction, reer]
|
||
sources: [raw/articles/qifu-llm-finance-practice-2026.md]
|
||
---
|
||
|
||
# REER 逆向知识提炼
|
||
|
||
王元（奇富科技）在 2026 DA 上海站分享的**从 QA 对中反向提取结构化知识**的方法，借鉴字节跳动的 REER 算法。
|
||
|
||
## 背景问题
|
||
|
||
在金融客服场景中，坐席的回答经验完全依赖口口相传，没有任何文档记录。只能收集到大规模的用户问题 (X) 和坐席回复 (Y) 的 QA 对。要从这些数据中提取可复用的业务知识才能利用大模型的正向推理能力。
|
||
|
||
## REER 算法适用性
|
||
|
||
REER（字节跳动）最初用于模型训练场景：当只有输入 X 和输出 Y 时，生成推理轨迹 (Reasoning Trace) 来训练模型的推理能力。奇富科技将其适配到**知识逆向提取**场景，但需要额外加工——因为样本级的推理链对知识抽取无用，需要的是**通用逻辑**。
|
||
|
||
## 四步操作流程
|
||
|
||
1. **生成推理轨迹** — 用强大模型逆向分析 X→Y 关系，生成高质量 trace
|
||
2. **提取通用逻辑 (SUM)** — 剥离大模型的"内心独白"，提取客观事实的话术逻辑和依据，形成中间变量 SUM。关键区分：样本级推理链 vs 跨样本通用规则
|
||
3. **按业务分类聚合** — 已知坐席回答约 10-12 类问题，按类别对 SUM 聚合，生成行动手册文章
|
||
4. **迭代优化** — 两个验证指标：
|
||
- **Perplexity**：如果抽取的 trace 能帮助回答问题，正向推理时 Perplexity 应大幅下降
|
||
- **端到端验证**：用行动手册+用户问题让大模型生成答案，与优秀坐席回复做相似度对比
|
||
|
||
## 关键洞察
|
||
|
||
- 传统 QA 检索是"死记硬背"，而知识手册+大模型是"开卷考试"——后者泛化能力远超前者
|
||
- 从样本级推理到通用知识的关键是**剥离模型内心独白**，提取跨样本稳定的通用逻辑
|
||
- 没有知识就会锁定在传统搜索模式，无法实现泛化——必须先提取知识
|
||
|
||
## 参考
|
||
|
||
- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享
|
||
- [[vertical-llm-knowledge-engineering|垂域 LLM 知识工程]] — 更大的工程范式
|
||
- [[zero-data-cold-start|零数据冷启动]] — REER 试图解决的场景
|