GET3D - GET3D:从图像中学习的高质量 3D 纹理形状的生成模型(NeurIPS 2022)

Created at: 2022-09-09 03:48:36
Language: Python
License: NOASSERTION

GET3D:从图像中学习的高质量3D纹理形状的生成模型(NeurIPS 2022)
官方PyTorch实施

预告片图像

GET3D:从图像中学习的高质量3D纹理形状的生成模型 高俊沈天长王子倩陈文正尹康学李大庆或利塔尼赞戈西奇三佳菲德勒
项目页面

摘要:随着多个行业正在转向对大型3D虚拟世界进行建模,对能够在3D内容的数量、质量和多样性方面进行扩展的内容创建工具的需求变得越来越明显。在我们的工作中,我们的目标是训练高性能的3D生成模型,这些模型合成纹理网格,这些网格可以直接由3D渲染引擎使用,从而立即在下游应用程序中使用。以前关于3D生成建模的工作要么缺乏几何细节,要么在它们可以产生的网格拓扑中受到限制,通常不支持纹理,要么在合成过程中使用神经渲染器,这使得它们在普通3D软件中的使用变得不平凡。在这项工作中,我们将介绍GET3D,这是一种生成模型,可直接生成具有复杂拓扑,丰富几何细节和高保真纹理的显式纹理化3D网格。我们在可微分曲面建模、可微渲染以及 2D 生成对抗网络方面取得了成功,以从 2D 图像集合中训练我们的模型。GET3D能够生成高质量的3D纹理网格,从汽车,椅子,动物,摩托车和人类角色到建筑物,比以前的方法有了显着的改进。

预告片结果

新闻

  • 2022-09-22:代码将于下周上传!

许可证

版权所有 © 2022,英伟达公司和附属公司。保留所有权利。

本作品根据 Nvidia 源代码许可证提供。

引文

@inproceedings{gao2022get3d,
    title={GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images},
    author={Jun Gao and Tianchang Shen and Zian Wang and Wenzheng Chen and Kangxue Yin 
        and Daiqing Li and Or Litany and Zan Gojcic and Sanja Fidler},
    booktitle={Advances In Neural Information Processing Systems},
    year={2022}
}