---
title: "Six Choices Every AI Engineer Has to Make (and Nobody Teaches)"
created: 2026-06-19
updated: 2026-06-19
type: article-raw
source: https://towardsdatascience.com/six-choices-every-ai-engineer-has-to-make-and-nobody-teaches/
wechat: https://mp.weixin.qq.com/s/GESoyR0qpxP4fPtHZjonKA
translator: 陈超
publisher: 数据派THU
---

# Six Choices Every AI Engineer Has to Make (and Nobody Teaches)

**作者**：Sara Nobrega
**翻译**：陈超（北京大学应用心理硕士）
**发布**：数据派THU（DatapiTHU）
**原文**：Towards Data Science

## 核心主题

AI 生产中 6 种关键权衡，都有最新研究支持。

## 6 种权衡

### 1. 构建 vs 购买（Build vs Buy）
- 三个选择：调用 API、微调开源模型、自建托管
- 日请求 < 10 万 → API（GPT-4o Mini）
- 日请求 > 100 万 → 自建（但注意：人力占成本的 70-80%，GPU 只占 20-30%）
- 团队平均超出 LLM 预算 340%，主因是缺少使用跟踪和成本归属

### 2. 模型复杂度 vs 可维护性
- CACE 原理：Change Anything Changes Everything (Sculley et al., 2015)
- 数据依赖比代码依赖更昂贵
- 为 2% 精度提升选择更复杂模型 → 支付 18 个月调试税

### 3. 数据数量 vs 数据质量
- 超过噪声阈值，更多低质量数据会降低性能
- "数据沼泽"问题：存储便宜 → 什么都存 → 清理成本爆炸
- 医疗 AI：专家标注小数据集 > 不可靠标注大数据集

### 4. 吞吐量 vs 延迟（批处理 vs 实时）
- 批处理：按时生成预测，低成本，简单，预测可能过时
- 实时：按需，毫秒级，昂贵，24/7 运维
- 大多数业务问题不需要亚秒级预测

### 5. 提示词工程 vs 微调
- 提示词工程：快、便宜、灵活，但脆弱
- 微调：昂贵（GPT-4o 客户支持约 $1万 + 6 周），但规模化可靠
- DSPy 提示优化在部分基准上超微调 6-19 个百分点
- 混合模式兴起：微调解决风格/基调 + RAG 作事实基础

### 6. 自动化 vs 人类监督（HITL）
- 完全人工审查无法规模化
- 选择性 HITL：只在边缘案例、低置信度、高风险决策时触发人工
- AI 处理规模/速度/模式识别，人类处理不可逆性
- 医疗/金融/法律领域，HITL 通常是合规要求

## 核心原则

> 在生产中，决策的成本很少在决策做出的地方产生回报。

复杂度的代价延迟偿付——更复杂的模型在 6 个月后增加维护成本，实时系统的 24/7 基础设施支撑长期代价更高，大规模脏数据在重训练周期上付出代价。
