人工智能图像生成的创新步伐是惊人的。一家公司 — Luma Labs — 提供了一个很好的例子，说明了将最新技术应用于 3D 图像的实用且极具娱乐性的用途。
Luma AI正在 iPhone 上进行 beta 测试，最终也将在 Android 上提供。我进入了 beta 测试组，可以分享一些关于这个惊人的应用程序做了什么以及获得令人难以置信的结果是多么容易的信息。
什么是 Luma AI？
Luma AI 是由 Luma Labs 开发的应用程序和服务。它使用称为神经辐射场 (NeRF) 的技术捕获 3D 图像。它类似于使高端游戏中的图形看起来如此逼真的光线追踪技术。
NeRFs 已经存在了几年，但直到最近才主要存在于研究设施中。随着AI 图像生成的爆炸式增长，以逼真的 Dall-E 渲染为标题，NeRF 开始被更广泛的受众探索。第一波新的 NeRF 软件需要一些开发人员技能并从 GitHub 安装软件包，然后在一组照片上训练 AI。对于普通人来说，这有点多。
Luma Labs 即将通过其 Luma AI 应用程序大大简化该过程。从开始到结束，整个过程都可以通过 iPhone 进行管理，最终结果也更易于访问。
Luma AI iPhone 兼容性
由于 Apple 重点展示了 LiDAR 传感器的 3D 深度测量功能，您可能会认为 Luma AI 需要更昂贵的iPhone 14 Pro或iPhone 14 Pro Max来捕捉 3D 模型。然而，Luma Labs 的聪明开发人员使用人工智能代替。这使得这项技术与 iPhone 11 一样古老的 iPhone 兼容。
将来，该应用程序将在 Android 上可用，并且已经有一个网络版本在 beta 测试中。 Luma Labs 首席执行官 Amit Jain 在接受采访时表示，预计 iPhone 应用程序将在几周内准备好公开发布。
如何使用 Luma AI
要使用 Luma AI，您只需在三个不同高度的物体周围慢慢绕圈。 AR 覆盖会引导您完成整个过程，这需要几分钟，并且在您熟悉该过程后会变得更容易。不久之后，您将能够在几分钟内捕捉到像椅子这样的中型物体。
任何大小的物体都可以处理，因为对于 Luma AI 来说，它只是一系列图像——无论主体有多大。如果你圈出一个杯子、一座雕像或一座建筑物，总体思路是一样的。
该应用程序会在它有足够的图像时通知您，当发生这种情况时，将出现一个完成按钮。您还可以在代表迄今为止拍摄的照片 的圆环和矩形的 AR 云中继续盘旋和填充空白。当收集到理想数量的照片时，该应用程序将自动停止拍摄。还有一种自由形式模式，可让您以不同的角度和距离拍摄更多照片。您可以在下面创建的 YouTube 视频中看到该过程。这是一个 iPhone 应用程序，所以它是一个人像视频。
处理是下一步，这发生在 Luma Labs 的服务器上。大约一个小时后，完成的 NeRF 将以几种不同的形式在应用程序中提供。给出的第一个视图是生成的视频，显示对象在其自然环境中的飞行。接下来是交互式版本，您可以通过在图像上拖动手指或鼠标来旋转视图。
最令人印象深刻的是，从背景中提取的捕捉主题也是可用的。使用此表示，您可以在任何轴上旋转 3D 对象并放大以更仔细地查看它。清晰度取决于收集了多少图像以及您在捕获过程中的速度和稳定性。
一直在变好
Luma Labs 正在以惊人的速度更新应用程序和服务。在收到 beta 测试邀请的一周内，添加了两个强大的新功能，极大地扩展了可能性。第一个是网络上传选项，允许您在没有应用程序的情况下捕获视频，然后将其上传到 Luma Labs 网站进行处理。结果显示在网上和应用程序中。
这意味着可以使用 iPhone 的任何相机模式，使用专用相机拍摄视频，甚至使用 Ray-Ban Stories 等 AR 眼镜录制视频。例如，当您在着陆后可以平滑运动并改变方向时，无人机视频会变得更加宏大。 Luma Labs 在这条推文中分享了一个很好的例子，展示了秋叶的鸟瞰图。
帕洛阿尔托的秋天太美了！ https://t.co/EwNkiv0DQV pic.twitter.com/hdd7iBLYgV
— Luma AI (@LumaLabsAI) 2022 年 10 月 22 日
另一个新功能开辟了 3D 编辑、绘画和 3D 打印机会。可以使用 OBJ 或 GLTF 格式的纹理导出 3D 网格。它们没有经过优化，但即使使用免费的开源网站Online3DViewer等在线查看器，也可以使用完整的纹理进行查看。
还可以在网格编辑器（如免费的开源MeshLab ）中打开 3D 文件，以删除任何显示为浮动斑点的杂散伪影，并在以各种格式导出之前清理和简化模型。上面的小雕像高约三英寸，由我的妻子特蕾西为她的事业ALittleCharacter雕刻而成。 Luma AI 在雕塑和它所在的原木中捕捉到了大量的细节。 MeshLab 也可以选择并删除该日志。
3D扫描的高潮和低谷
Kyle Brussell 分享了一次派对上的甜点展示，提到他要求成年人等待他们的款待，以便将其捕捉为数字立体模型。
idth=”500″ data-dnt=”true” data-initial-classes=”twitter-tweet” data-embed-name=”twitter” data-sdk-src=”//platform.twitter.com/widgets.js”>昨晚在生日聚会上使用@LumaLabsAI ，让一群成年人不吃甜点，所以我可以用手机围着桌子转，像一个非常酷的人一样制作一个 3D AI 梦想pic.twitter.com/sP0vVPB3yx
—凯尔·拉塞尔 (@kylebrussell) 2022 年 10 月 30 日
虽然 Luma AI 可以处理视频，但它依靠静止图像来构建三维场景。这意味着如果主体移动，它可能会降低捕捉的质量或清晰度。如 Albert Bozesan 的推文所示，一个坐着的人的 3D 图像会很好。在同一条推文中，对雕塑的第二次捕捉显示了当场景中有运动时会发生什么。背景将走近被摄对象的人显示为扭曲的形状。
今天在巴伐利亚湖边拍了两个@LumaLabsAI #NeRFs 。捕捉记忆的好方法，感觉就像少数派报告。 #Tegernsee pic.twitter.com/HLC0ekF7uD
—阿尔伯特·博泽桑 (@AlbertBozesan) 2022 年 10 月 30 日
Luma AI 价格和可用性
Luma AI 目前处于 beta 测试阶段，并通过公司的Twitter帐户定期发出邀请。如果您有兼容的 iPhone 并且对这项技术感兴趣，您或许可以抢先体验。 Luma Labs 的网站上还有一个候补名单。
Luma Labs 首席执行官 Jain 表示，定价尚未确定，取决于用户群的广泛程度以及扫描结果的使用情况。根据这些陈述，可能会有具有更高级功能的专业订阅和价格更低的个人订阅。暂时，它将保持免费使用。