Meta Reality Labs 正在通过将机器学习 (ML) 与来自 Quest VR 耳机的传感器数据相结合的最新进展，在头像渲染方面取得长足进步，以显示您的全身，包括手臂、腿、躯干和头部。结果是佩戴 Quest 2 耳机的人的姿势和动作非常逼真和准确的表示。
这是相当惊人的，因为只有 Quest VR 头显及其两个控制器的位置和方向被用来估计腿部运动和位置。腿上没有放置跟踪带，也没有用于这个非凡系统的外部摄像头。元研究科学家Alexander Winkler在 Twitter 上分享了几个视频，以及指向arXiv上的科学论文的链接以及更详细的YouTube 视频。
在科学意义上，这被称为来自稀疏传感器的运动跟踪，如果已知和未知之间存在足够的依赖关系，ML 特别擅长从极少的信息中提取有意义的信息。由于我们在行走和跑步时摆动手臂以保持平衡，因此手臂运动是腿部通常在做什么的一个很好的指标。结合头部倾斜和方向，ML 系统可以非常准确地预测大多数人体运动。
更传统的四肢追踪方法依赖于额外的硬件，例如放置在腿部和躯干上的反射标记，由外部摄像头识别，或者在腿部不同位置佩戴无线信标以传输位置和运动数据。
虽然这些方法有效，但它们通常作为配件出售，价格更高，并且在大多数应用程序和游戏中得不到很好的支持。如果 Meta 可以通过 Quest 2 耳机取得如此好的效果，开发者将更有可能在他们的游戏和应用程序中构建身体追踪。
尽管取得了这些重大进展，Meta Reality Labs 承认需要做更多的工作。如果您移动得足够快，ML 模型将无法正确识别您的姿势。计算机很难估计不寻常的姿势，如果虚拟环境中存在现实中不存在的障碍，则动作将不匹配。不过整体效果看起来还是不错的，在VR中和朋友聊天时能看到全身而不是漂浮的躯干，这将是一个不错的升级。
希望这项技术能够很快推出。 Meta 的 Quest Pro 耳机预计将在几周内发布，全身化身的时机似乎是完美的。 Meta Quest Pro可以跟踪眼球运动和面部表情，为您的朋友、家人和同事提供更好的存在感，在不久的将来可能会大大增强。