NVIDIA研究团队构建AI模型，为虚拟世界填充3D物体和人物

　　得益于NVIDIAResearch新的AI模型，越来越多的公司而创作者创造的大规模虚拟世界，可以更轻松地填充一系列各种各样的3D建筑、车辆、人物等内容。

　　NVIDIAGET3D仅使用2D图像进行训练，可以生成具有高保真纹理和复杂几何细节的3D图形。这些3D对象以与流行的图形软件应用程序相同的格式创建，允许用户立即将其形状导入3D渲染器和游戏引擎进行后续编辑。

　　生成的对象可用于建筑物、户外空间或整个城市的3D表示，并为游戏、机器人开发、建筑和社交媒体等行业量身定制。

　　GET3D可以根据训练中使用的数据生成几乎无限的三维图形。就像艺术家用一块粘土制作精美的雕塑一样，模型会将数字转换成复杂的三维图形。

　　例如，在2D汽车图像的训练数据集的帮助下，它创建了汽车、卡车、赛车和货车的系列集。当在动物图像上训练时，它会产生狐狸、犀牛、马和熊等生物。如果输入椅子，模型会生成各种旋转椅、餐椅、舒适躺椅。

　　NVIDIA人工智能研究副总裁SanjaFidler负责领导创建这个工具的多伦多人工智能实验室。她说，“GET3D让我们离普及人工智能驱动的3D内容创作更近了一步。它可以即时生成有纹理的三维图形，这可能会给开发者带来颠覆性的变化，帮助他们快速填充包含各种有趣物体的虚拟世界。”

　　11月26日至12月4日在新奥尔良(及线上)举行的NeurIPSAI大会上，NVIDIA有超过20篇论文和研讨会，其中GET3D是其中之一。

　　创建一个虚拟世界需要多种人工智能类型。

　　现实世界充满了多样性:街上的建筑各具特色，不同的车辆呼啸而过，络绎不绝的人流更是五彩缤纷。手动建模反映这一场景的3D虚拟世界非常耗时，因此很难填充详细的数字环境。

　　以前的3D创成式人工智能模型虽然比手动方法更快，但在可以生成的细节层次上也是有限的。即使是最新的反向渲染方法也只能从多个角度拍摄的2D图像中生成3D对象，这需要开发人员一次构建一个3D图形。

　　相反，当推理在单个NVIDIAGPU上运行时，GET3D每秒可以生成大约20个物体，就像处理2D图像的生成式对抗网络一样，但只生成3D物体。作为学习源，训练数据集更大更多样，输出也会更多样更细致。

　　英伟达研究人员使用合成数据来训练GET3D，其中包含用不同相机角度拍摄的3D图形的2D图像。团队只用了两天时间，就用NVIDIAA100TensorCoreGPU训练了100万张图片的模型。

　　使创作者能够修改形状，纹理，材料。

　　GET3D因其能够3D(generateexplicitextured 3D(generateexplicited 3D)网格而得名，这意味着它将以三角形网格的形式创建形状，并用纹理材料覆盖它们，就像papier-mché模型一样。这使用户能够轻松地将对象导入游戏引擎、3D建模软件和电影渲染器，并对其进行编辑。

　　创作者将GET3D生成的形状导出到图形应用程序后，当这些对象移动或旋转时，可以使用逼真的灯光效果。通过集成NVIDIAResearch提供的另一个AI工具StyleGAN-NADA，开发人员可以使用文本提示为图像添加特定的样式，例如将渲染的汽车调整为烧毁的汽车或出租车，或将普通房屋设置为鬼屋。

　　研究人员指出，未来版本的GET3D可以使用相机姿态估计技术，允许开发人员使用真实世界的数据(而不是合成数据集)来训练模型。它还可以改进为支持通用生成，这意味着开发人员可以一次性为各种3D图形训练GET3D，而不是一次只针对一个对象类别进行训练。