DreamFace：只需文本即可生成「超写实3D数字人」

随着大型语言模型（LLM）、扩散（Diffusion）等技术的发展，ChatGPT、Midjourney等产品的诞生掀起了新一波的AI热潮，生成式AI也成为备受关注的话题。

与文本和图像不同，3D生成仍处于技术探索阶段。

2022年年底，Google、NVIDIA和微软相继推出了自己的3D生成工作，但大多基于先进的神经辐射场（NeRF）隐式表达，与工业界3D软件如Unity、Unreal Engine和Maya等的渲染管线不兼容。

即使通过传统方案将其转换为Mesh表达的几何和颜色贴图，也会造成精度不足和视觉质量下降，不能直接应用于影视制作和游戏生产。

项目网站：https://sites.google.com/view/dreamface 

论文地址：https://arxiv.org/abs/2304.03117 

Web Demo：https://hyperhuman.top 

为了解决这些问题，来自影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式3D生成框架。

该框架引入符合CG制作标准的外部数据集（包含几何和PBR材质），可以根据文本直接生成符合该标准的3D资产，是首个支持Production-Ready 3D资产生成的框架。

为了实现文本生成可驱动的3D超写实数字人，该团队将这个框架与产品级3D数字人数据集相结合。这项工作已经被计算机图形领域国际顶级期刊Transactions on Graphics接收，并将在国际计算机图形顶级会议SIGGRAPH 2023上展示。

一种文本指导的渐进式3D生成框架，它结合了最新的视觉-语言模型、隐式扩散模型，以及基于物理的材质扩散技术。

DreamFace的主要创新包括几何体生成、基于物理的材质扩散生成和动画能力生成。与传统的3D生成方法相比，DreamFace具有更高的准确性、更快的运行速度和较好的CG管线兼容性。

DreamFace的渐进式生成框架为解决复杂的3D生成任务提供了一种有效的解决方案，有望推动更多类似的研究和技术发展。

此外，基于物理的材质扩散生成和动画能力生成将推动3D生成技术在影视制作、游戏开发和其他相关行业的应用。