英伟达将在今年秋季推出DLSS 3.5！以此为基础，英伟达将进一步增强未来的图形性能。
人工智能正在改变世界，图形计算这块也不例外。
五年前，英伟达推出了DLSS技术，通过每个GeForce RTX GPU中的Tensor Core实现神经渲染来提高性能，在图形领域带来了速度更快、图像质量更高的图形处理革命。
从那时起，DLSS背后的Al模型就在不断学习新的功能，如「帧生成」（Frame Generation），不仅将渲染速度提高了4倍，还获得了出色的图像质量。
今天，英伟达推出了NVIDIA DLSS 3.5，再次推动了渲染技术的发展。
这是一种全新的AI模型，采用了光线重建（Ray Reconstruction）技术，能为密集型光追游戏和应用程序，创建更高质量的光追图像。
而且，因为DLSS 3.5之中的光线重建技术本身不依赖硬件，所以老的RTX系列的显卡也能享受到这项技术升级。不得不说黄老板还是厚道呀。
举个栗子，RTX 4060可以享受到目前DLSS技术中的「SR+FG+RR」；RTX 2060可以享受到「SR+RR」。
那我们现在就再来看看光线重构（RR）技术的原理具体是什么样的。
工作原理
为了了解光线重建的好处，我们需要了解光线追踪图像的原理。
光线追踪是一种图形渲染方法，可以模拟光线的物理行为。
首先，游戏引擎生成了场景的几何形状和材质，它们都具有物理属性，会影响它们的外观以及光线与它们的交互方式。
从摄像机的视角来拍摄光线样本，能够确定场景中光源的属性以及光线照射到材料上时的反应。例如，如果光线照射到镜子上，就会产生反射。
但如果为屏幕上的每个像素发射光线，在计算上就太过耗时。
即使是对需要数分钟或数小时计算场景的离线渲染器来说，也是如此。
因此，必须使用光线样本，即能在场景的各个点发射少量光线，以获取场景光照、反射和阴影的代表性样本。
它可以输出一个带有噪点和空白间隙的图像，来确定在光线追踪时场景应该如何呈现。
为了填补未经光线追踪的缺失像素，手动调整的降噪器使用了两种不同的方法：
一种是在时间上累积多个帧的像素，另一种是在空间上进行插值，将相邻像素混合在一起。
通过这一过程，嘈杂的原始输出被转换成光线追踪图像。
这些手动调整的降噪器，需要为场景中每种类型的光线追踪光照进行人工调整和处理。
这增加了开发过程中的复杂性，也提高了成本。
在高度光线追踪的游戏中，如果让多个降噪器同时运行以最大化图像质量，还会降低帧率。
每个手动调整的降噪器，会从多个帧中积累像素以增加细节，这实际上是从过去「窃取」了光线。
但是，这样做也有可能会引入重影、消除动态效果，或者降低其他效果的质量。
它还能插入相邻像素，并将这些信息混合在一起。
但这样做的风险可能会导致混合掉过多的详细信息，或者混合不足，产生不均匀的光照效果。
升频是光线追踪照明流水线的最后一个阶段，也是在快速帧速率下体验最精细、要求最高的游戏的关键。
但是由于降噪处理会移除或减少效果的质量，手动调整的降噪器的局限性会被放大，这会削弱许多细节（也称为高频信息）。
而这些细节，是就超分辨率技术用来输出清晰、干净图像的关键。
为此，英伟达提出的解决方案，就是DLSS 3.5。
他们的最大创新在于光线重建，这是一个增强版AI驱动的神经渲染器，用经过NVIDIA超算训练的AI网络，替代了手动调整的降噪器。
这样就在采样的光线之间生成了更高质量的像素，从而提高了所有GeForce RTX GPU的光追图像质量。
DLSS 3.5的训练数据比DLSS 3多了5倍，因此它能够识别不同的光追效果，以更智能的方式决定如何使用时间和空间数据，并保留高频信息，从而实现优质超分辨率。
离线渲染图像所需的计算能力远高于实时游戏所需的计算能力，而光线重构技术可从训练数据中识别光照模式，如全局光照或环境遮挡，并在游戏中边玩边重现。这个结果优于使用手动调整的降噪器。
在支持RTX的《传送门》中，当DLSS关闭时，降噪器在空间插值方面会出现问题，无法混合足够的像素，从而产生斑点效果。此外，它也没有从以前的帧中积累足够的好像素，导致在光线下会出现沸腾效果。
有了DLSS 3.5后，它就能识别与反射相关的某些模式，并保持图像稳定，积累精确像素、同时混合相邻像素，生成高质量的反射效果。
在以下《赛博朋克2077》的场景中，围绕汽车的车头灯照明效果不准确。这是由于手动调整的降噪器从之前帧中提取了不准确的光照效果。
而DLSS 3.5能够准确生成光照效果。我们不仅可以清楚地看到车头灯的光束，还能够看到光线在汽车前方路缘上的反射。
《赛博朋克2077》中的夜之城街道上充满了来自旋转广告牌和霓虹灯的反射。
通过启用DLSS 3.5，这些反射的质量和清晰度会在整个城市范围内得到极大的提升。
另外，各种创意应用对传统降噪器来说也是一个挑战。因为它们需要根据每个场景进行手动调整，所以在预览内容时，图像质量会不够理想。
而有了DLSS 3.5，AI神经网络就能够识别各种各样的场景，在预览和最终渲染之前生成高质量的图像。
此外，D5 Render是一个面向建筑师和设计师的先进应用程序，它将于今年秋季与DLSS 3.5一同推出。
得益于RTX技术，现在我们在PC或笔记本上就能拥有两台计算机的动力。
第一台是英伟达超算，它用数十亿个数据点对DLSS AI模型进行训练，以提升性能和图像质量。第二台就是GeForce RTX显卡，它专用的张量核心可以实时运行AI模型，而专门的RT核心、创新技术（如着色器执行重排序）以及每个RTX GPU的强大性能，都保证了一流的光追效果。
在《赛博朋克2077》中，超频模式提供的全光追效果离不开AI的支持。DLSS超分辨率（SR）能够从较低分辨率的输入中重建4K图像，带来显著的性能提升和出色的图像质量。
另外，英伟达还在GeForce RTX 40系列GPU上启用了DLSS帧生成（FG），它可以分析连续帧来创建额外帧，从而进一步提高流畅度。
因此，即使是在要求最苛刻、动作最密集的时刻，也能进一步提高性能。
NVIDIA DLSS 3.5还通过用光线重建替代了多个手动调整的降噪器，进一步提升了光追效果的图像质量。
通过结合超分辨率、帧生成和光线重建，与原生4K DLSS关闭渲染相比，DLSS 3.5将《赛博朋克2077》的帧率提高了5倍。
需要注意的是，具有多个光追效果的游戏可能有多个降噪器，而这些降噪器将被单一的光线重建神经网络所取代。在这种情况下，光线重建也可以提供性能提升。对于光追较少、降噪器较少的游戏，光线重建可以提高图像质量，但可能会略微降低性能。
GeForce RTX 40系列用户可以将超分辨率和帧生成与光线重建相结合，从而获得令人惊叹的性能和图像质量。而GeForce RTX 20和30系列用户，则可以在超分辨率和DLAA的基础上，将光线重建添加到AI强化工具中。
光线重建是开发人员提高光追游戏图像质量的新选择，也是DLSS 3.5的一部分。采用DLSS 3.5的光栅化游戏，还包括我们最新超分辨率和DLAA更新，但由于缺乏光追效果，它们从光线重建中受益。
今年秋天，这些游戏就支持DLSS 3.5了，NVIDIA DLSS 3.5将于今年秋季在以下游戏和软件中推出——《艾伦·沃克2》、《赛博朋克2077：自由幻影》、《传送门》、Chaos Vantage、D5 Render和NVIDIA Omniverse。
参考资料：https://blogs.nvidia.com/blog/2023/08/22/dlss-ai-rtx-remix-half-life-d5-render-chaos-vantage/
相关文章
