En3D: 通过文本或图片生成3D人物模型

En3D是什么？

En3D是由阿里巴巴智能计算研究所和北京大学合作开发的一个项目，它使用人工智能来从2D图片生成3D人物模型。它不需要依赖现有的3D模型或真实的2D图片作为起点。相反，它通过分析和学习成千上万的合成2D图片，来理解和重建3D人物的形状和外观。

En3D提供了论文和代码，你如果感兴趣，可以自己去试试。

• 项目：https://menyifang.github.io/projects/En3D/index.html
• 论文：http://arxiv.org/abs/2401.01173
• 代码：https://github.com/menyifang/En3D

En3D的工作原理

En3D通过以下三个主要步骤来工作：三维生成建模（3DGM），几何造型（GS）和显式纹理（ET）。

• 3DGM使用合成的多样的、平衡的和结构化的人类图像，具有精确的相机，以学习具有基于三平面的架构的可概括的3D人类。
• GS集成为一个优化模块，利用多视图法线约束细化和雕刻几何细节。
• ET利用UV分割和可微光栅化器来解开明确的UV纹理贴图。不仅可以获得多视图渲染，还可以获得逼真的3D模型，以获得最终结果。

En3D可以做什么？

• 通过文本生成：可以根据描述性文本来生成特定外观的3D人物模型。
• 通过图像生成：可以根据现有的图片来创建3D模型。
• 模型局部编辑：可以对生成的3D模型进行局部编辑，比如改变服装或面部特征。

En3D适用人群

En3D适合以下人群：

• 游戏开发者：可以用来创建游戏中的角色。
• 动画制作人：用于电影或电视节目中的动画角色。
• 视觉效果艺术家：在制作高质量视觉效果时使用。
• 学生和研究人员：对3D建模和AI技术感兴趣的人可以用它来学习和实验。

总的来说，En3D是一个强大的工具，它将AI和3D建模结合起来，为创造逼真的人物模型提供了新的可能性。