myWiki/concepts/causal-generation.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Causal Generation	2026-06-20	2026-06-20	concept	generation causal autoregressive attention	https://arxiv.org/abs/2606.17800

Causal Generation (因果生成)

Causal Generation 是指生成模型中输出元素仅依赖历史、不访问未来信息的生成方式。与双向（bidirectional）生成相对。

在视频生成中的应用

在 autoregressive-video-generation 中，因果注意力（causal attention）确保：

• 生成帧 t 仅能 attend 帧 1..t-1
• 中间帧可立即输出，无需等待全部去噪完成
• 支持 streaming-generation 和实时交互

实现

• Causal Attention Mask：下三角矩阵，阻止未来信息
• Sliding Block-Causal Mask：块内双向，块间因果（MaineCoon 使用）
• KV-Cache：缓存历史 chunk 的 keys/values

相关概念

• autoregressive-video-generation
• streaming-generation
• kv-cache
• diffusion-transformer