---
title: "Audio-Visual Generation"
created: 2026-06-20
updated: 2026-06-20
type: concept
tags: ["generation", "audio", "video", "multimodal"]
sources: ["https://arxiv.org/abs/2606.17800"]
---

# Audio-Visual Generation (音视频联合生成)

**Audio-Visual Generation** 是指同时生成视频和音频的生成范式，要求画面运动、语音、环境音在时序上紧密同步。

## 与传统视频生成的区别

传统 [[diffusion-transformer|视频扩散模型]] 通常仅处理视觉信号，或仅将音频作为条件输入。真正的音视频联合生成需要：
- **联合潜空间**：视觉和音频在共享的时间轴上表示为对齐的 latent chunk
- **因果时间建模**：逐块自回归生成，保持时间一致性
- **跨模态同步**：唇音对齐、表情与语音节奏匹配

## 挑战

- 长时序生成中的内容漂移（[[drifting|temporal drift]]）
- 跨模态表示对齐的困难
- 实时推理的延迟约束
- 单 GPU 上的计算效率

## 代表性工作

- **LTX-2.3**: 22B 开源音视频扩散模型，非因果、离线生成
- **MaineCoon**: 22B 实时流式音视频自回归模型（[[maineCoon]]），47.5 FPS，单 GPU
- 传统方法：Video Diffusion + 独立 Audio Diffusion 拼接

## 相关概念
- [[streaming-generation|流式生成]]
- [[autoregressive-video-generation|自回归视频生成]]
- [[social-video|社交视频]]
- [[audio-visual-representation-alignment|跨模态表示对齐]]