现在,最好的显卡比以往任何时候都更不仅仅由其原始性能来定义,而是由其功能来定义。 Nvidia 已经通过DLSS奠定了基础,该技术现在涵盖了升级、帧生成和光线追踪降噪器,而 AMD 也紧随 Nvidia 推出了 FSR 3。但是,下一代显卡将由什么定义呢?
众所周知, DLSS 3和FSR 3等功能是 2024 年购买显卡的关键因素,我怀疑 AMD 和 Nvidia 也了解这一趋势。我们已经尝到了 Nvidia、AMD 甚至英特尔的下一代 GPU 的未来,它可能会给 PC 游戏带来巨大的改变。这称为神经纹理压缩。
让我们从纹理压缩开始
在我们开始讨论神经纹理压缩之前,我们必须首先讨论什么是纹理压缩。与任何数据压缩一样,纹理压缩通过压缩数据来减小纹理的大小,但与 JPEG 等图像压缩技术相比,它具有一些独特的元素。纹理压缩以视觉质量换取速度,而静态压缩技术通常针对质量而不是速度进行优化。
这很重要,因为游戏纹理在渲染之前一直处于压缩状态。它们在存储、内存和 VRAM 中被压缩,并且仅在实际渲染时才解压缩。纹理压缩还需要针对随机访问进行优化,渲染根据当时需要的纹理利用内存的不同部分。
如今,这是通过块压缩完成的,它基本上采用 4×4 像素块并对它们进行编码,因此得名“块”。块压缩已经存在了几十年。有不同的格式,以及用于移动设备的自适应可扩展纹理压缩 (ASTC) 等技术,但核心概念保持不变。
问题是——纹理并没有变小。高度详细的游戏世界需要高度详细的纹理,这会给解码这些纹理的硬件以及内存和 VRAM 带来更大的压力。我们发现《归来》和《霍格沃茨遗产》等游戏对内存的要求更高,而且8GB 显卡很难满足《光环:无限》和《红落》等游戏的要求。还有 Oodle Texture 等工具的超级压缩功能 – 不要将其与 Oodle Kraken 等工具的数据压缩混淆 – 它会压缩已经压缩的纹理以实现更小的下载大小。这需要由 CPU 解压缩,这会给硬件带来更大的压力。
解决方案似乎是用人工智能来解决这个问题,这是 Nvidia 和 AMD 目前都在探索的事情,这可能就是你购买新显卡的原因。
神经差异
去年 8 月,Nvidia 在 Siggraph 上推出了神经纹理压缩(NTC) 。该技术能够存储的纹理像素数量是典型块压缩的 16 倍,从而产生分辨率提高四倍的纹理。这本身并不令人印象深刻,但这部分是:“我们的方法允许通过随机访问进行按需实时解压缩,类似于 GPU 上的块纹理压缩。”
NTC 使用小型神经网络直接在 GPU 上解压缩这些纹理,且时间窗口与块压缩相当。正如摘要所说,“这将我们的压缩优势从磁盘存储扩展到内存。”
英伟达并不是唯一一家这样做的公司。 AMD 刚刚透露,它将在今年的 Siggraph 上讨论神经块纹理压缩,并发表自己的研究论文。英特尔也解决了这个问题,在为 3D 对象引入人工智能驱动的细节层次(LoD) 技术时,特别指出了 VRAM 的限制。
虽然这些只是研究论文,但它们都涉及神经渲染。鉴于人工智能正在席卷计算世界,AMD、Nvidia 和英特尔都在寻找神经渲染的下一个前沿也就不足为奇了。如果您需要更多说服力,请看 Nvidia 首席执行官黄仁勋 (Jensen Huang) 在最近的问答中就此事所说的话:“游戏人工智能 – 我们已经将其用于神经图形学,并且我们可以根据少量输入像素生成像素。我们还在帧之间生成帧——不是插值,而是生成。将来我们甚至会生成纹理和物体,这些物体的质量可以较低,但我们可以让它们看起来更好。”
涨潮
目前,还无法确定神经纹理压缩将如何表现。它可以降级为中间件,在您启动游戏时塞入徽标中,并且永远不会再考虑。它可能永远不会作为一个功能出现在游戏中,特别是如果它在其他地方有更好的用途的话。或者它可能是下一代显卡中脱颖而出的关键功能之一。
我并不是说一定会如此,但显然 AMD、Nvidia 和英特尔都认识到了这一点。游戏中的安装大小、内存需求和纹理的最终质量之间存在一定的平衡,而神经纹理压缩似乎是为开发人员提供更多发挥空间的关键。也许这会带来更详细的世界,或者可能细节上会略有增加,但对内存的需求会少得多。这取决于开发人员的平衡。
有一个明显的好处,但要求仍然是个谜。到目前为止,AMD 尚未展示其研究成果,而 Nvidia 的研究则是基于RTX 4090的性能。在理想的情况下,神经纹理压缩(或更准确地说,神经解压缩)将是面向开发人员的功能,可在各种硬件上运行。不过,如果它像一些研究论文所暗示的那样重要,那么它可能会成为电脑游戏的下一个前沿领域。
我怀疑这至少不是我们最后一次听说它。我们正站在新一代显卡的边缘,从Nvidia 的 RTX 50 系列到AMD 的 RX 8000 GPU到英特尔 Battlemage 。当我们开始了解这些 GPU 时,我很难想象神经纹理压缩不会成为讨论的一部分。