20260617:目前有914 页
This commit is contained in:
46
concepts/4d-gaussian-splatting.md
Normal file
46
concepts/4d-gaussian-splatting.md
Normal file
@@ -0,0 +1,46 @@
|
||||
---
|
||||
title: "4D 高斯泼溅 (4D Gaussian Splatting)"
|
||||
created: 2026-06-13
|
||||
updated: 2026-06-13
|
||||
type: concept
|
||||
tags: [computer-vision, 3d-reconstruction, gaussian-splatting, dynamic-scenes]
|
||||
sources: [raw/papers/cheng-flex4dhuman-2026.md]
|
||||
---
|
||||
|
||||
# 4D 高斯泼溅 (4D Gaussian Splatting / 4DGS)
|
||||
|
||||
3D Gaussian Splatting (3DGS) 的时间扩展——用一组随时间变化的高斯基元表示动态场景,支持任意时间步和任意视角的可微分渲染。
|
||||
|
||||
## 从 3DGS 到 4DGS
|
||||
|
||||
- **3DGS**:静态场景的一组 3D 高斯基元,每个基元具有位置、协方差、颜色和不透明度
|
||||
- **4DGS**:基元增加时间维度——位置/协方差/颜色可随时间变化,形成"动态高斯泼溅"
|
||||
- **核心思想**:不显式建模运动场(如 NeRF + 变形场),而是直接优化基元的时间演变
|
||||
|
||||
## 在 Flex4DHuman 中的角色
|
||||
|
||||
Flex4DHuman 生成的同步多视角视频作为 4DGS 的输入数据,取代了传统"多相机采集设备"的需求:
|
||||
|
||||
1. **生成多视角视频**:模型生成所有目标视角的同步帧
|
||||
2. **拟合 4DGS**:使用 FreeTimeGS 从多视角帧优化动态高斯泼溅
|
||||
3. **自由视点渲染**:拟合后的 4DGS 可在任意时间/视角渲染新图像
|
||||
|
||||
## 使用的工具
|
||||
|
||||
- **FreeTimeGS**(Wang et al., CVPR 2025):Flex4DHuman 选用的具体 4DGS 重建方法
|
||||
- **SparkJS**:基于 Three.js 的 3DGS 浏览器渲染器,支持实时交互
|
||||
- **Marble**(World Labs):多模态世界模型,可将重建的 4DGS 角色组合到生成场景中
|
||||
|
||||
## 与其他动态表示对比
|
||||
|
||||
| 方法 | 代表工作 | 优势 | 劣势 |
|
||||
|------|---------|------|------|
|
||||
| NeRF + 变形场 | D-NeRF, HumanNeRF | 连续性 | 训练慢,渲染慢 |
|
||||
| 3DGS + 变形 | 3DGS-Avatar | 实时渲染 | 需显式变形模型 |
|
||||
| **4DGS** | 4D-GS, FreeTimeGS | 实时渲染,无变形场 | 高斯基元数较多 |
|
||||
|
||||
## 参考
|
||||
|
||||
- [[monocular-video-to-4d|单目视频到 4D]] — Flex4DHuman 的完整 4D 管线
|
||||
- [[flex4dhuman|Flex4DHuman]] — 多视角视频的生成源
|
||||
- [[freetimegs|FreeTimeGS]] — 使用的具体方法
|
||||
Reference in New Issue
Block a user