Nvidia 将简单的文本提示转变为游戏就绪的 3D 模型

由 Nvidia 的 LATTE3D 生成的彩色图像拼贴画。
英伟达

Nvidia 刚刚在 GTC 2024 期间推出了其新的生成 AI 模型,称为 Latte3D。Latte3D 似乎是ChatGPT的极端类固醇。 I 是一个文本转 3D 模型,它接受简单、简短的文本提示,并在一秒钟内将它们转换为 3D 对象和动物。 Latte3D 比旧版本快得多,它的工作原理就像虚拟 3D 打印一样,可以为许多行业的创作者派上用场。

Latte3D 旨在为多种类型的创作者简化 3D 模型的创建,例如从事视频游戏、设计项目、营销,甚至是机器学习和机器人培训的创作者。在 Nvidia 的模型演示中,它看起来使用起来超级简单。根据快速的文本提示,人工智能会生成一个 3D 模型,不久后就会完成更多细节。虽然最终结果远不如OpenAI 的 Sora那样栩栩如生,但事实并非如此——这是一种加速创建资产而不是从头开始构建资产的方法。

该模型会生成多种不同的选项供用户选择,Nvidia 表示这些形状可以“在几分钟内优化以获得更高的质量”。然后,设计可以导出到不同的平台,例如 Nvidia 的 Omniverse,并且可以进行调整以匹配所需的最终结果。 Nvidia 使用其 Ada A100 Tensor Core GPU 训练 Latte3D,并通过 ChatGPT 提示支持训练,以使其做好与真实用户交互的准备。

截至目前,Latte3D 只能生成物体和动物。为此,它似乎在识别不同的动物、纹理和物体类型方面做得很好。 Nvidia 通过展示钩针普通起重机或折纸斯芬克斯猫等物体来展示这些功能。该模型被训练识别各种物种,从而能够区分意​​大利灵缇犬和柴犬。

想要使用 Latte3D 做更多事情的创作者可以在不同的数据集(无论是植物还是家居用品)上对其进行训练,然后将其用于自己的目的。 Nvidia 在这里提出了一些有趣的用例,例如在部署个人助理机器人之前对其进行培训。很容易想象 Latte3D 将为游戏开发人员派上用场,但其潜力远远超出了游戏场景。

Nvidia 人工智能研究副总裁 Sanja Fidler 谈到 Latte3D 与其前身相比要快得多:“一年前,人工智能模型需要一个小时才能生成这种质量的 3D 视觉效果,而目前的技术水平现在大约是 10 到 12 秒。我们现在可以更快地产生结果,”Fidler 说。

最近与在游戏开发中使用人工智能相关的公告都是相当具有开创性的,Nvidia 的 Latte3D 加入了越来越多的工具行列,有一天可能会彻底改变游戏的创建过程。例如, Nvidia 最近刚刚推出了完全由 AI 生成对话的非玩家角色 (NPC) 。与此同时,虚幻引擎的最新更新可以在机器学习的帮助下实时生成电影质量的游戏视觉效果


Posted

in

by

Tags: