46 lines
1.6 KiB
Markdown
46 lines
1.6 KiB
Markdown
---
|
||
title: "Temporal Drift (时序漂移)"
|
||
created: 2026-06-20
|
||
updated: 2026-06-20
|
||
type: concept
|
||
tags: ["drift", "autoregressive", "error-accumulation", "generation"]
|
||
sources: ["https://arxiv.org/abs/2606.17800"]
|
||
---
|
||
|
||
# Temporal Drift (时序漂移)
|
||
|
||
**Temporal Drift** 是自回归生成中误差随时间累积导致的内容退化现象：生成的内容逐渐偏离其预期外观、颜色、音频音色和运动模式。
|
||
|
||
## 产生机制
|
||
|
||
自回归模型逐块生成时，每一块的输入是**模型自己生成的前序内容**，而非 ground truth。前序中的小误差通过注意力机制传播到后续块，形成正反馈循环：
|
||
|
||
```
|
||
误差(t+1) = 固有误差 + 传播(误差(t))
|
||
```
|
||
随 t 增大，累积误差使生成内容逐渐偏离目标分布。
|
||
|
||
## 在音视频流式生成中的表现
|
||
|
||
| 退化类型 | 表现 |
|
||
|---------|------|
|
||
| **外观漂移** | 人脸变形、颜色偏移、光照改变 |
|
||
| **身份漂移** | 角色面部特征逐渐改变 |
|
||
| **运动漂移** | 动作变得僵硬或不自然 |
|
||
| **音频漂移** | 音色改变、语音清晰度下降 |
|
||
| **同步漂移** | 唇音对齐逐渐松动 |
|
||
|
||
## 缓解方法
|
||
|
||
在 [[maineCoon|MaineCoon]] 中：
|
||
- [[self-resampling|Self-Resampling]]：训练时暴露退化历史，提升鲁棒性
|
||
- [[agentic-cache-manager|Agentic Cache Manager]] 的 drift control：
|
||
- **Statistical Anchor (AdaStat)**：per-channel 统计匹配
|
||
- **Subject Anchor**：语义主体参考块
|
||
- [[forward-repair-ladder|Forward-Repair Ladder]]：检测到退化后前向修复
|
||
|
||
## 参考
|
||
- [[autoregressive-video-generation|自回归视频生成]]
|
||
- [[streaming-generation|流式生成]]
|
||
- [[maineCoon|MaineCoon]]
|