一键生成山川、河流，风格多样，从2D图像中学习生成无限3D场景

智源社区2年前 (2023)发布智源社区

735 0 0

来自南洋理工大学 S-Lab 的研究者提出了一个新的框架 SceneDreamer，专注于从海量无标注自然图片中学习无界三维场景的生成模型。

项目主页：https://scene-dreamer.github.io/
代码：https://github.com/FrozenBurning/SceneDreamer
论文：https://arxiv.org/abs/2302.01330
在线 Demo：https://huggingface.co/spaces/FrozenBurning/SceneDreamer

为满足元宇宙中对 3D 创意工具不断增长的需求，三维场景生成最近受到了相当多的关注。3D 内容创作的核心是逆向图形学，旨在从 2D 观测中恢复 3D 表征。考虑到创建 3D 资产所需的成本和劳动力，3D 内容创作的最终目标将是从海量的互联网二维图像中学习三维生成模型。最近关于三维感知生成模型的工作在一定程度上解决了这个问题，多数工作利用 2D 图像数据生成以物体为中心的内容（例如人脸、人体或物体）。然而，这类生成任务的观测空间处于有限域中，生成的目标占据了三维空间的有限区域。这就产生了一个问题，我们是否能从海量互联网 2D 图像中学习到无界场景的 3D 生成模型？比如能够覆盖任意大区域，且无限拓展的生动自然景观（如下所示）。

一键生成山川、河流，风格多样，从2D图像中学习生成无限3D场景

本文，来自南洋理工大学 S-Lab 的研究者提出了一个新的框架 SceneDreamer，专注于从海量无标注自然图片中学习无界三维场景的生成模型。通过采样场景噪声和风格噪声，SceneDreamer 能够渲染多样风格的自然场景，同时保持极高的三维一致性，支持相机自由地在场景中漫游。

想要达成这样的目标，我们面临着如下三个挑战：

1）无界场景缺乏高效三维表征：无边界场景常常占据了一个任意大的欧氏空间，这凸显了高效且具备表现力的底层三维表征的重要性。

2）缺乏内容对齐：已有三维生成工作使用具备对齐性质的数据集（如人脸、人体、常用物体等），这些有界场景中的目标物体通常具备类似的语义、相近的尺度位置和方向。然而，在海量的无标注二维图像中，不同物体或场景常常具备迥异的语义，且拥有多变的尺度、位置和方向。这样缺乏对齐的性质会带来生成模型训练的不稳定性。

3）缺乏相机位姿先验：三维生成模型依赖于准确相机位姿或相机位姿分布的先验来实现图像到三维表征的逆向渲染过程。但互联网自然图像来源于不同的场景和像源，让我们无法获取其相机位姿准确信息或先验。

为此我们提出了一个原则性的对抗学习框架 SceneDreamer，从海量的无标注自然图像中学习生成无界三维场景。该框架包含三个主要模块：1）高效且高表现力的鸟瞰（BEV）三维场景表征；2）学习场景通用表征的生成式神经哈希网格；3）由风格驱动的体积渲染器，并经过对抗学习的方式直接从二维图像中进行训练。

一键生成山川、河流，风格多样，从2D图像中学习生成无限3D场景

为了学习无边界三维场景生成，我们希望场景应当被高效高质量进行表达。我们提出使用由语义图和高度图组成的 BEV 表征来表达一个大尺度三维场景。具体而言，我们通过无参建图的方法从场景噪声中获得俯瞰视角下高度图和语义图。高度图记录了场景表面点的高度信息，而语义图则记录了对应点的语义标签。而我们使用的由语义图和高度图组成的 BEV 表征能够：1）在 n^2 复杂度上表示三维场景；2）能够得到三维点对应的语义，从而解决内容对齐的问题。3）支持使用滑动窗口的方式来合成无限大场景，避免了训练时固定场景分辨率导致泛化性的问题。