80 lines
3.9 KiB
Markdown
80 lines
3.9 KiB
Markdown
---
|
||
title: "Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: paper
|
||
tags: [multimodal, real-time, foundation-model, streaming, full-duplex, audio-visual, transformer]
|
||
sources:
|
||
- https://arxiv.org/abs/2606.25041
|
||
- https://wan-streamer.com
|
||
---
|
||
|
||
# Wan-Streamer v0.1
|
||
|
||
**Wan-Streamer** 是阿里巴巴 Wan Team 提出的端到端原生流式交互基础模型，支持语言、音频、视频作为输入和输出的全双工实时交互。核心创新在于将感知、推理、生成、响应时机、话轮管理和跨模态同步**全部联合学习在一个 Transformer 中**，摒弃了传统级联系统（VAD → ASR → LLM → TTS → 动画生成）的模块架构。
|
||
|
||
## 核心贡献
|
||
|
||
### 1. 统一的端到端流式架构
|
||
|
||
Wan-Streamer 将用户输入和 Agent 输出视为**一条因果时间线**上的交织序列（interleaved visual, audio, text tokens），使用 [[block-causal-attention|block-causal attention]] 实现增量流式生成。一个 Transformer 承担所有模态的编解码，不依赖外部语言、语音、化身或视频生成模块。
|
||
|
||
### 2. 全因果多模态架构
|
||
|
||
为支持流式实时交互，整个架构从底层设计为因果的：
|
||
- **[[causal-multimodal-vae|因果多模态 VAE]]**：严格因果的音频和视频变分自编码器，用于流式潜编码
|
||
- **因果编码器/解码器**：因果音视频编码器和解码器
|
||
- **[[block-causal-attention]]**：块因果注意力机制，协调多模态 token 的流式调度
|
||
- **全历史自回归流式**：每个生成的单元被立即提交回交互历史
|
||
|
||
### 3. Thinker-Performer 推理流水线
|
||
|
||
推理时，模型拆分为两个协作进程：
|
||
|
||
| 角色 | 职责 | 关键操作 |
|
||
|------|------|----------|
|
||
| **Thinker** | 感知、状态更新、前帧解码发射 | 因果编码器 → Transformer → KV cache 更新 → 解码发射 |
|
||
| **Performer** | 潜变量生成（flow-matching） | 接收 KV slice → flow-matching solver → 返回 clean latents |
|
||
|
||
通过 **KV-cache 交换** 维持统一因果状态，实现感知/状态更新、前帧解码、KV/潜变量通信、下一帧去噪的**流水线重叠**。在 160ms 流式单元内完成一轮完整循环。
|
||
|
||
**延迟指标**：
|
||
- 模型侧响应延迟：~200ms
|
||
- 端到端交互延迟（含 350ms 双向网络）：~550ms
|
||
- 输出帧率：25 FPS
|
||
|
||
### 4. 全双工交互能力
|
||
|
||
通过在全双工交互数据上训练，模型学会了：
|
||
- **连续感知**：即使正在说话，也持续消费用户的音视频观测
|
||
- **中断处理**：用户自然打断时停止或重新规划响应
|
||
- **主动说话**：当视觉流中出现显著事件时，主动发起评论或提问
|
||
- **非语言反馈**：空闲时的身份保持、凝视、姿态；聆听时的点头、微表情
|
||
|
||
## 方法论要点
|
||
|
||
- **条件流匹配**：音频和视频响应以连续潜变量形式，通过 [[flow-matching|conditional flow matching]] 联合生成
|
||
- **三阶段训练**：独立任务预训练 → 多模态联合训练 → 端到端双工交互微调
|
||
- **数据混合**：理解数据（图像/音频/视频理解、ASR、TTS） + 生成数据（图像/音频/视频生成） + 端到端双工交互数据
|
||
|
||
## 实验对比
|
||
|
||
与 Doubao Realtime Voice、GPT-4o Realtime API、Gemini Live、Moshi、Qwen3-Omni、MiniCPM-o 等系统的对比显示：Wan-Streamer 是**唯一同时支持文本/音频/视频输入输出的单一端到端模型**，且响应延迟处于领先水平。
|
||
|
||
## 局限
|
||
|
||
当前 v0.1 版本输出分辨率为 192p，作为概念验证；扩展到更高分辨率留待未来工作。
|
||
|
||
## 参考
|
||
|
||
- [原始存档](raw/papers/wan-streamer-2026.md)
|
||
- [[flow-matching]]
|
||
- [[kv-cache]]
|
||
- [[diffusion-transformer]]
|
||
- [[native-streaming-ar-training]]
|
||
- [[full-duplex-interaction]]
|
||
- [[block-causal-attention]]
|
||
- [[thinker-performer-pipeline]]
|
||
- [[causal-multimodal-vae]]
|
||
- [[end-to-end-streaming-interaction]]
|