Meta 的下一个 AI 模型需要近 10 倍的能力来训练

Facebook 母公司Meta高管在周三的第二季度财报电话会议上解释道,尽管预计这项新兴技术需要多年的工作才能实现盈利,但该公司仍将继续大力投资人工智能研究工作。

Meta 首席执行官马克·扎克伯格在电话会议上表示,Meta 正在“规划未来几年所需的计算集群和数据”。他说,Meta 将需要“计算量……几乎是我们用于训练 Llama 3 的计算量的 10 倍”,并补充说 Llama 4 将“成为明年业界最先进的[模型]。”作为参考,Llama 3 模型在16,384 个 Nvidia H100 80GB GPU 集群上进行训练。

该公司对于为理想的研发项目开支票并不陌生。 Meta 的第二季度财务数据显示,该公司预计 2024 年的资本支出将达到 370 亿至 400 亿美元,高管预计明年的支出将“大幅”增加。扎克伯格表示:“很难预测这将如何影响未来几代人。” “但在这一点上,考虑到启动新推理项目的准备时间很长,我宁愿在需要之前冒险进行能力建设,也不愿为时已晚。”

Meta 并不是没有钱可以烧。据估计,有 32.7 亿人每天至少使用一个 Meta 应用程序,该公司第二季度的收入略高于 390 亿美元,比上一年增长 22%。其中,该公司实现利润约 135 亿美元,同比增长 73%。

但仅仅因为 Meta 正在盈利并不意味着它的人工智能努力是有利可图的。首席财务官 Susan Li 承认,其生成式人工智能今年不会产生收入,并重申这些投资的收入将“在更长的时间内产生”。尽管如此,该公司“仍在继续构建我们的人工智能基础设施,并考虑到可替代性,以便我们可以在我们认为能够得到最佳利用的地方灵活调整产能。”

李还指出,现有的训练集群可以轻松地进行改造以执行推理任务,随着技术的成熟以及越来越多的人开始每天使用这些模型,预计推理任务将构成大部分计算需求。

“随着我们扩大生成式人工智能训练能力以推进我们的基础模型,我们将继续以一种为我们提供随着时间的推移使用它的灵活性的方式构建我们的基础设施。这将使我们能够将培训能力用于生成人工智能推理或我们的核心排名和推荐工作,我们预计这样做会更有价值,”她在财报电话会议上表示。


Posted

in

by

Tags: