AI 工程师的 6 种生产权衡

原文：Six Choices Every AI Engineer Has to Make (and Nobody Teaches) — Sara Nobrega 翻译：陈超 | 来源：数据派THU

核心问题

大学课程教你怎么让模型变精确。但几乎没人教你后续的决策：什么时候完全自动化？什么时候提示词不够？批处理和实时怎么选？这些问题在工作第一周就会出现。

决策的成本很少在决策做出的地方产生回报。 — 更复杂的模型在 6 个月后增加维护成本，实时系统需要 24/7 基础设施支撑，大规模脏数据在重训练周期上付出代价。

日请求 < 10 万 → API。日请求 > 100 万 → 自建。但 70-80% 的自建成本是人力，不是 GPU。团队平均超预算 340%。

CACE 原理：改变任何事物都会改变一切。为 2% 精度选复杂模型的代价是 18 个月的调试税。一年后谁拥有它？

超过噪声阈值，更多数据会降低性能。医疗 AI 最典型：专家标注小数据集 > 不可靠标注大数据集。避免"数据沼泽"。

大多数业务问题不需要亚秒级预测。如果用户不会注意到预测是 5 分钟前还是 5 毫秒前，用批处理。

提示词快、便宜、灵活，但脆弱。微调昂贵（$1 万 + 6 周），但规模化可靠。混合模式（微调风格 + RAG 事实）日益普及。

完全人工审查无法规模化。选择性 HITL：边缘案例、低置信度、高风险决策才触发人工。AI 处理规模，人类处理不可逆性。