微软解释了数千个 Nvidia GPU 如何构建 ChatGPT

ChatGPT在过去六个月里风靡一时,但它并非空穴来风。根据微软周一发布的一篇博文,ChatGPT 背后的公司 OpenAI 在五年多前就与微软取得联系,希望在数千个 Nvidia GPU 上构建 AI 基础设施。

OpenAI 和微软的合作伙伴关系最近备受关注,尤其是在微软向 ChatGPT 和DALL-E 2等工具背后的研究小组投资 100 亿美元之后。然而,据微软称,合作伙伴关系很久以前就开始了。从那时起, 彭博社报道称,微软已花费“数亿美元”开发基础设施以支持 ChatGPT 和Bing Chat等项目。

Hopper H100 显卡。

其中大部分资金流向了 Nvidia,Nvidia 现在处于训练 AI 模型所需的计算硬件的最前沿。微软没有像您在最佳显卡列表中找到的那样使用游戏 GPU,而是追求 Nvidia 的企业级 GPU,如 A100 和 H100。

不过,这不仅仅是将显卡放在一起并训练语言模型那么简单。正如微软 Azure 产品负责人 Nidhi Chappell 所解释的那样:“这不是你只需购买一大堆 GPU,将它们连接在一起,它们就会开始协同工作。为了获得最佳性能,需要进行大量系统级优化,这需要几代人积累的丰富经验。”

随着基础设施的到位,微软现在正在向其他人开放其硬件。该公司周一在另一篇博客文章中宣布,它将通过微软的 Azure 网络“按需提供大小从 8 个到数千个 Nvidia H100 GPU 不等的 Nvidia H100 系统”。

ChatGPT 的流行让 Nvidia 飞速发展,Nvidia 多年来一直通过硬件和软件投资 AI。 Nvidia 在游戏显卡领域的主要竞争对手 AMD 一直试图通过 Instinct MI300 等加速器进军该领域。

根据 OpenAI 总裁兼联合创始人 Greg Brockman 的说法,如果没有 Microsoft 提供的强大功能,ChatGPT 培训是不可能的:“与 Azure 共同设计超级计算机对于扩展我们苛刻的 AI 培训需求至关重要,使我们的研究和可以在 ChatGPT 等系统上进行对齐工作。”

Nvidia 有望在 GPU 技术大会 (GTC) 期间透露更多有关未来 AI 产品的信息。主题演讲将于 3 月 21 日拉开序幕。微软将在本周晚些时候扩展其 AI 路线图,定于 3 月 16 日举行一场围绕 AI 在工作场所的未来的演讲。


Posted

in

by

Tags: