63 lines
2.5 KiB
Markdown
63 lines
2.5 KiB
Markdown
---
|
||
title: "Six Choices Every AI Engineer Has to Make (and Nobody Teaches)"
|
||
created: 2026-06-19
|
||
updated: 2026-06-19
|
||
type: article-raw
|
||
source: https://towardsdatascience.com/six-choices-every-ai-engineer-has-to-make-and-nobody-teaches/
|
||
wechat: https://mp.weixin.qq.com/s/GESoyR0qpxP4fPtHZjonKA
|
||
translator: 陈超
|
||
publisher: 数据派THU
|
||
---
|
||
|
||
# Six Choices Every AI Engineer Has to Make (and Nobody Teaches)
|
||
|
||
**作者**：Sara Nobrega
|
||
**翻译**：陈超（北京大学应用心理硕士）
|
||
**发布**：数据派THU（DatapiTHU）
|
||
**原文**：Towards Data Science
|
||
|
||
## 核心主题
|
||
|
||
AI 生产中 6 种关键权衡，都有最新研究支持。
|
||
|
||
## 6 种权衡
|
||
|
||
### 1. 构建 vs 购买（Build vs Buy）
|
||
- 三个选择：调用 API、微调开源模型、自建托管
|
||
- 日请求 < 10 万 → API（GPT-4o Mini）
|
||
- 日请求 > 100 万 → 自建（但注意：人力占成本的 70-80%，GPU 只占 20-30%）
|
||
- 团队平均超出 LLM 预算 340%，主因是缺少使用跟踪和成本归属
|
||
|
||
### 2. 模型复杂度 vs 可维护性
|
||
- CACE 原理：Change Anything Changes Everything (Sculley et al., 2015)
|
||
- 数据依赖比代码依赖更昂贵
|
||
- 为 2% 精度提升选择更复杂模型 → 支付 18 个月调试税
|
||
|
||
### 3. 数据数量 vs 数据质量
|
||
- 超过噪声阈值，更多低质量数据会降低性能
|
||
- "数据沼泽"问题：存储便宜 → 什么都存 → 清理成本爆炸
|
||
- 医疗 AI：专家标注小数据集 > 不可靠标注大数据集
|
||
|
||
### 4. 吞吐量 vs 延迟（批处理 vs 实时）
|
||
- 批处理：按时生成预测，低成本，简单，预测可能过时
|
||
- 实时：按需，毫秒级，昂贵，24/7 运维
|
||
- 大多数业务问题不需要亚秒级预测
|
||
|
||
### 5. 提示词工程 vs 微调
|
||
- 提示词工程：快、便宜、灵活，但脆弱
|
||
- 微调：昂贵（GPT-4o 客户支持约 $1万 + 6 周），但规模化可靠
|
||
- DSPy 提示优化在部分基准上超微调 6-19 个百分点
|
||
- 混合模式兴起：微调解决风格/基调 + RAG 作事实基础
|
||
|
||
### 6. 自动化 vs 人类监督（HITL）
|
||
- 完全人工审查无法规模化
|
||
- 选择性 HITL：只在边缘案例、低置信度、高风险决策时触发人工
|
||
- AI 处理规模/速度/模式识别，人类处理不可逆性
|
||
- 医疗/金融/法律领域，HITL 通常是合规要求
|
||
|
||
## 核心原则
|
||
|
||
> 在生产中，决策的成本很少在决策做出的地方产生回报。
|
||
|
||
复杂度的代价延迟偿付——更复杂的模型在 6 个月后增加维护成本，实时系统的 24/7 基础设施支撑长期代价更高，大规模脏数据在重训练周期上付出代价。
|