这项新技术解决了现代 GPU 的最大问题

GPU存储扩展
泛记忆

GPU 行业的一项有趣发展是,PCIe 连接内存将改变我们对 GPU 内存容量和性能的看法。 Panmnesia 是一家由韩国 KAIST 研究所支持的公司,正在开发一种名为 Compute Express Link(CXL)的技术,该技术允许 GPU 通过 PCIe 接口利用外部内存资源。

传统上, RTX 4060等 GPU 受到板载 VRAM 的限制,这可能会成为 AI 训练、数据分析和高分辨率游戏等内存密集型任务的性能瓶颈。 CXL 利用高速 PCIe 连接将外部内存模块直接连接到 GPU。

此方法提供了低延迟内存扩展选项,其性能指标显示比传统方法有显着改进。据报道,新技术成功实现了两位数纳秒延迟,与标准的基于 SSD 的解决方案相比,大幅降低了延迟。

使用 CXL 扩展 GPU 存储。
失忆症

此外,这项技术并不仅限于传统的 RAM。 SSD 还可用于扩展 GPU 内存,提供多功能且可扩展的解决方案。此功能允许创建混合内存系统,将 RAM 的速度与 SSD 的容量相结合,进一步提高性能和效率。

虽然 CXL 在 PCIe 链路上运行,但将该技术与 GPU 集成并不简单。 GPU 缺乏必要的 CXL 逻辑结构和子系统来支持 DRAM 或 SSD 端点。因此,简单地添加一个CXL控制器是不可行的。

GPU 缓存和内存系统只能通过统一虚拟内存 (UVM) 识别扩展。然而,Pamnesia 进行的测试显示,UVM 在测试的 GPU 内核中性能最差,这是由于页面错误期间主机运行时干预的开销以及页面级别的低效数据传输造成的。

为了解决这个问题,Panmnesia 开发了一系列支持所有关键 CXL 协议的硬件层,并整合到一个统一的控制器中。该符合 CXL 3.1 标准的根联合体包括用于 PCIe 上的外部存储器的多个根端口以及带有主机管理设备存储器解码器的主机桥。该解码器连接到 GPU 的系统总线并管理系统内存,通过加载/存储指令提供对扩展存储的直接访问,有效消除 UVM 的问题。

这项技术的影响是深远的。对于人工智能和机器学习来说,添加更多内存的能力意味着更有效地处理更大的数据集、缩短训练时间并提高模型准确性。在游戏中,开发人员可以突破图形保真度和复杂性的界限,而不受 VRAM 限制的限制。

对于数据中心和云计算环境,Panmnesia 的 CXL 技术提供了一种经济高效的方式来升级现有基础设施。通过 PCIe 连接额外的内存,数据中心可以增强其计算能力,而无需进行大量的硬件检修。

尽管有潜力,Pamnesia 在获得全行业采用方面面临着巨大的挑战。 AMD 和 Nvidia最好的显卡不支持 CLX,而且可能永远不会支持。行业参与者也很有可能为 GPU 开发自己的 PCIe 附加内存技术。尽管如此,Panmnesia 的创新代表着在解决 GPU 内存瓶颈方面向前迈出了一步,有可能对高性能计算和游戏产生重大影响。


Posted

in

by

Tags: