CMU & Meta｜逼真生成式3D人脸模型研究

大模型2年前 (2023)更新智源社区

591 0 0

Towards Realistic Generative 3D Face Models

Aashish RAI, Hiresh Gupta, Ayush Pandey, Francisco Vicente Carrasco, Shingo Jason Takagi, Amaury Aubel, Daeil Kim, Aayush Prakash, Fernando de la Torre

提出一种3D可控生成人脸模型的方法，结合了2D人脸生成模型和语义人脸处理，能编辑具有细节的3D渲染人脸。

A Rai, H Gupta, A Pandey, F V Carrasco, S J Takagi, A Aubel, D Kim, A Prakash, F d l Torre
[CMU & Meta]

动机：2D人脸模型难以准确分离面部属性，如姿态、表情和照明，限制了其编辑能力。
方法：将2D人脸生成模型与语义人脸处理相结合，使用交替下降优化方法获得形状和颜色信息，并利用可微渲染训练高质量形状和颜色信息的模型。
优势：在NoW基准测试中超越了现有方法，在恢复渲染人脸的身份时，比现有重建模型平均提高了10%的性能。此外，本文的方法可以直接控制3D面部表情，实现了基于文本的3D面部编辑。

https://arxiv.org/abs/2304.12483