20260625:很多新内容

concepts/causal-generation.md

@@ -0,0 +1,31 @@
+---
+title: "Causal Generation"
+created: 2026-06-20
+updated: 2026-06-20
+type: concept
+tags: ["generation", "causal", "autoregressive", "attention"]
+sources: ["https://arxiv.org/abs/2606.17800"]
+---
+
+# Causal Generation (因果生成)
+
+**Causal Generation** 是指生成模型中输出元素仅依赖历史、不访问未来信息的生成方式。与双向（bidirectional）生成相对。
+
+## 在视频生成中的应用
+
+在 [[autoregressive-video-generation|自回归视频生成]] 中，因果注意力（causal attention）确保：
+- 生成帧 `t` 仅能 attend 帧 `1..t-1`
+- 中间帧可立即输出，无需等待全部去噪完成
+- 支持 [[streaming-generation|流式生成]] 和实时交互
+
+## 实现
+
+- **Causal Attention Mask**：下三角矩阵，阻止未来信息
+- **Sliding Block-Causal Mask**：块内双向，块间因果（MaineCoon 使用）
+- **KV-Cache**：缓存历史 chunk 的 keys/values
+
+## 相关概念
+- [[autoregressive-video-generation|自回归视频生成]]
+- [[streaming-generation|流式生成]]
+- [[kv-cache]]
+- [[diffusion-transformer|DiT]]