1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 温度采样（Temperature Sampling） | 2026-06-21 | 2026-06-21 | concept |
|
|
温度采样（Temperature Sampling）
LLM 解码阶段的关键参数，通过调整 softmax 分布的锐度来控制输出的随机性。温度 T 越高，输出分布越平滑，低概率 token 被选中的概率越大。
在沉默螺旋治理中的应用
温度采样是打破 AI 沉默螺旋的技术层治理手段之一：
- 低温度（T < 1.0）：输出高度确定，总是选择高概率 token → 放大沉默螺旋
- 高温度（T > 1.0）：输出更随机，小众 token 更可能被选中 → 缓解沉默螺旋
- top-p / top-k 联合采样：在保留多样性的同时避免输出质量失控
权衡
高温度采样的代价是可能引入更多噪声、降低输出质量。需要在多样性 vs 质量之间寻找平衡点。这是 rlhf-alignment-amplification 问题的镜像——RLHF 压低熵增加安全性但降低多样性，温度采样抬高熵增加多样性但可能降低质量。
治理建议
- 对小模型适配更高温度（因其统计偏好更强）
- 结合 top-p 截断防止极端噪声
- 多候选择优时加入多样性奖励机制