2.0 KiB
2.0 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| APO 自动提示工程 (Automatic Prompt Optimization) | 2026-06-14 | 2026-06-14 | concept |
|
|
APO 自动提示工程 (Automatic Prompt Optimization)
奇富科技王元总结的自动提示优化实践经验。APO 最适合作为高质量 Base Prompt 的基线生成器，在大模型落地初期避免盲目微调。
核心经验
设计原则
- System prompt 不宜过长，User prompt 的约束力通常更强
- 利用评测数据集，APO 作为 first draft，人工少量修改去除过拟合
- 话术和初始提示词结构应经过设计来适应特定任务（如拆分为可优化部分和不变部分）
工程实践
- 更小的模型提升幅度会更大 — APO 对小模型性价比更高
- 必须 Batch 处理更新 — 否则容易优化一条样本却劣化很多条样本（蒙特卡洛过程的不稳定性）
- APO 本质是蒙特卡洛过程，不具备传统梯度下降的稳定性
- 仅处理错误样本不会获得更好的泛化性
Trace 优化
Trace 框架可优化的对象不仅是提示词：
- 函数、提示词、工具描述——涉及文本的都可以交给 Trace 框架
- 充分发挥全局优化能力，将流程中的函数和变量信息通过注解引入
- 可以极大提升优化速度和效果
验证策略
- 验证集如果采用和训练集一样的数据，可以显著提升训练集分数，但会失去泛化性
- 需要使用验证集来维护帕累托前沿
与 DSPy 的关系
APO 的思想与 DSPy 的自动提示优化高度相似——都是将提示工程从手工调参转变为程序化优化问题。奇富科技的实践侧重于工程落地的经验教训。
参考
- qifu-llm-finance-practice — 来源分享
- post-hoc-reasoning-rl — APO 之后的后训练方案