47 lines
2.0 KiB
Markdown
47 lines
2.0 KiB
Markdown
---
|
||
title: "4D 高斯泼溅 (4D Gaussian Splatting)"
|
||
created: 2026-06-13
|
||
updated: 2026-06-13
|
||
type: concept
|
||
tags: [computer-vision, 3d-reconstruction, gaussian-splatting, dynamic-scenes]
|
||
sources: [raw/papers/cheng-flex4dhuman-2026.md]
|
||
---
|
||
|
||
# 4D 高斯泼溅 (4D Gaussian Splatting / 4DGS)
|
||
|
||
3D Gaussian Splatting (3DGS) 的时间扩展——用一组随时间变化的高斯基元表示动态场景，支持任意时间步和任意视角的可微分渲染。
|
||
|
||
## 从 3DGS 到 4DGS
|
||
|
||
- **3DGS**：静态场景的一组 3D 高斯基元，每个基元具有位置、协方差、颜色和不透明度
|
||
- **4DGS**：基元增加时间维度——位置/协方差/颜色可随时间变化，形成"动态高斯泼溅"
|
||
- **核心思想**：不显式建模运动场（如 NeRF + 变形场），而是直接优化基元的时间演变
|
||
|
||
## 在 Flex4DHuman 中的角色
|
||
|
||
Flex4DHuman 生成的同步多视角视频作为 4DGS 的输入数据，取代了传统"多相机采集设备"的需求：
|
||
|
||
1. **生成多视角视频**：模型生成所有目标视角的同步帧
|
||
2. **拟合 4DGS**：使用 FreeTimeGS 从多视角帧优化动态高斯泼溅
|
||
3. **自由视点渲染**：拟合后的 4DGS 可在任意时间/视角渲染新图像
|
||
|
||
## 使用的工具
|
||
|
||
- **FreeTimeGS**（Wang et al., CVPR 2025）：Flex4DHuman 选用的具体 4DGS 重建方法
|
||
- **SparkJS**：基于 Three.js 的 3DGS 浏览器渲染器，支持实时交互
|
||
- **Marble**（World Labs）：多模态世界模型，可将重建的 4DGS 角色组合到生成场景中
|
||
|
||
## 与其他动态表示对比
|
||
|
||
| 方法 | 代表工作 | 优势 | 劣势 |
|
||
|------|---------|------|------|
|
||
| NeRF + 变形场 | D-NeRF, HumanNeRF | 连续性 | 训练慢，渲染慢 |
|
||
| 3DGS + 变形 | 3DGS-Avatar | 实时渲染 | 需显式变形模型 |
|
||
| **4DGS** | 4D-GS, FreeTimeGS | 实时渲染，无变形场 | 高斯基元数较多 |
|
||
|
||
## 参考
|
||
|
||
- [[monocular-video-to-4d|单目视频到 4D]] — Flex4DHuman 的完整 4D 管线
|
||
- [[flex4dhuman|Flex4DHuman]] — 多视角视频的生成源
|
||
- [[freetimegs|FreeTimeGS]] — 使用的具体方法
|