49 lines
2.0 KiB
Markdown
49 lines
2.0 KiB
Markdown
---
|
||
title: "APO 自动提示工程 (Automatic Prompt Optimization)"
|
||
created: 2026-06-14
|
||
updated: 2026-06-14
|
||
type: concept
|
||
tags: [prompt-engineering, optimization, llm-deployment, apo]
|
||
sources: [raw/articles/qifu-llm-finance-practice-2026.md]
|
||
---
|
||
|
||
# APO 自动提示工程 (Automatic Prompt Optimization)
|
||
|
||
奇富科技王元总结的**自动提示优化实践经验**。APO 最适合作为高质量 Base Prompt 的基线生成器，在大模型落地初期避免盲目微调。
|
||
|
||
## 核心经验
|
||
|
||
### 设计原则
|
||
|
||
- **System prompt 不宜过长**，User prompt 的约束力通常更强
|
||
- 利用评测数据集，APO 作为 **first draft**，人工少量修改去除过拟合
|
||
- 话术和初始提示词结构应经过设计来适应特定任务（如拆分为可优化部分和不变部分）
|
||
|
||
### 工程实践
|
||
|
||
- **更小的模型提升幅度会更大** — APO 对小模型性价比更高
|
||
- **必须 Batch 处理更新** — 否则容易优化一条样本却劣化很多条样本（蒙特卡洛过程的不稳定性）
|
||
- APO 本质是蒙特卡洛过程，**不具备传统梯度下降的稳定性**
|
||
- **仅处理错误样本不会获得更好的泛化性**
|
||
|
||
### Trace 优化
|
||
|
||
Trace 框架可优化的对象不仅是提示词：
|
||
- 函数、提示词、工具描述——涉及文本的都可以交给 Trace 框架
|
||
- 充分发挥**全局优化能力**，将流程中的函数和变量信息通过注解引入
|
||
- 可以极大提升优化速度和效果
|
||
|
||
### 验证策略
|
||
|
||
- 验证集如果采用和训练集一样的数据，可以显著提升训练集分数，但会**失去泛化性**
|
||
- 需要使用验证集来**维护帕累托前沿**
|
||
|
||
## 与 DSPy 的关系
|
||
|
||
APO 的思想与 DSPy 的自动提示优化高度相似——都是将提示工程从手工调参转变为**程序化优化问题**。奇富科技的实践侧重于工程落地的经验教训。
|
||
|
||
## 参考
|
||
|
||
- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享
|
||
- [[post-hoc-reasoning-rl|后置推理 RL]] — APO 之后的后训练方案
|