英伟达DLSS 4升级：基于Transformer的新技术大幅提升游戏帧率和画质

克雷西来自奥飞寺

量子比特 |公众号

现在，它是用来玩游戏的吗？ ！

老黄的DLSS进行了重大升级，更换了基于的新大脑。

使用新模型后，光重建和超分辨率的效果变得更加细腻。

而且DLSS 3中的帧生成功能也升级为DLSS 4多帧生成，一次最多可以生成3帧，将《黑神话：悟空》的帧率提升到200+。

与此同时，还推出了大量新的AI渲染技术，比如图片渲染中的重要组件着色器，其中也有AI的一席之地。

这一波对于游戏开发者和玩家来说可以算是一个“新年大礼包”。

这样做的目的当然是为了把产品带到50系显卡上，但是有了这些黑科技，确实可以提升游戏玩家的体验（手动狗头）。

“大力水手”彻底“换脑”

正如开头提到的，被游戏玩家称为“大力水手”的DLSS迎来了全面更新。

（注：DLSS的全称是Deep Super，即深度学习超级采样）

DLSS的核心思想是利用AI运算来代替部分渲染计算，从而在提高图像质量的同时加快图像生成速度。

之前的DLSS主要是通过卷积神经网络（CNN）来实现的。如今随着50系列显卡的推出，《大力水手》也进行了“换脑”，CNN的工作也被取代了。

据介绍，这是该模型在图形领域的首次实时应用。

与过去的CNN相比，新模型的参数数量增加了一倍，生成的像素稳定性更强、鬼影更少、运动细节更高、边缘更平滑。

DLSS的两个主要功能，射线重建和超分辨率，都被用到了。

例如，在《艾伦杀手2》的光线重建场景中，新的DLSS4表现出比上一代基于CNN的算法明显更强的连续性，两个场景中的光线也更加真实。

如果觉得变化不明显，可以看静态图对比：

在超分辨率功能中，图片细节比之前的CNN变得更加细腻。

此外，新一代帧生成功能不再局限于单帧，最多支持一次生成3帧。

比如《赛博朋克2077》的场景，相比不开启DLSS，DLSS 4的多帧生成可以将帧率从27提升到248，同时延迟降低一半以上，比例接近8次。

此外，新型号的速度提高了 40%，并且使用的 VRAM 减少了 30%。例如，在《战锤40K：暗潮》中，帧率提高了10%，同时在4K最大设置下减少了400MB的显存占用。

此外，40系列显卡中的帧生成功能也得到了升级，在降低VRAM占用的同时也提升了性能。

目前，DLSS 4 已为 75 款游戏和应用程序提供 Day 0 支持。除了50系列独有的多帧生成、基于光重建、超分辨率等功能外，还可以带到40、30甚至20系列显卡上。以提高性能。

顺便剧透一下，《黑神话：悟空》还将在Day-0支持DLSS 4多帧生成。

图形渲染也使用AI

伴随着新版本的DLSS，还推出了一套神经渲染技术——RTX Kit。

它可以利用GPU中的Core通过AI完成游戏中的光线追踪，渲染复杂几何形状的场景。它可以高保真度地渲染复杂的开放世界，同时减少伪影、不稳定性和 VRAM 使用。 。

第一个是RTX神经网络着色器（RTX ），它将AI引入可编程着色器中，包括三项关键技术：

我们来看看开启前后的效果对比。开启后（分割线右侧），画面中的材质以及蓝宝石的反光效果变得更加真实。

还有类似这样的丝绸材质。打开后，丝绸的光泽更好地展现出来，画面也变得更加细腻。

对比度确实很明显，但对于实时图像渲染来说，这些仍然只是水。真正的挑战是人脸的渲染。

这涉及到RTX Kit中的另一个组件RTX Faces，它使用生成式AI来提高面部的渲染质量。

Faces 采用简单的光栅化脸部加上 3D 姿势数据作为输入，并使用 AI 模型来推断脸部（而不是强力渲染）。

Faces 背后的训练数据包含数千张不同角度、光照、情绪和遮挡条件下的面部图像，以创建更柔和、更自然的外观。

Faces 还有专门针对皮肤和头发设计的补充 SDK。

采用次表面散射（SSS）技术，可以模拟光线穿透半透明材质表面并在内部散射的过程，从而更好地呈现皮肤纹理。

还有线性扫描球体 (LSS) 加速基元，可以减少渲染头发所需的几何体数量，并使用球体而不是三角形来更准确地适应头发形状。

用 的话说，Faces 技术“跨越了肖像渲染的恐怖谷”。

还有用于三角形光线追踪的 RTX Mega。

在游戏中，三角形是构成画面的重要元素，并且随着时间的推移，三角形的数量呈指数级增长。特别是自从虚幻引擎5推出新的几何系统以来，游戏中的三角形数量已经达到数亿个。

这对于帧构建来说是一场噩梦，并且保持足够的帧速率更加困难。

Mega可以在GPU上批量智能更新三角形簇，从而减少CPU开销并提高光线追踪场景中的性能和图像质量，并且可以处理100倍数量的三角形。

据 称，Mega 可以“对项目中的每个三角形进行完全光线追踪”。

眼见为实。一开始，分割线左侧的藤蔓并没有开启Mega。它们没有三维效果，景深关系错误，光影不符合物理定律。看起来就一个字——假的。

但开启后，藤蔓的三维效果突然变强，光影也变得更加真实，大部分“质感感”消失了。

还有两个

除了画面质量之外，延迟也是游戏玩家关心的一个重要参数，尤其是在竞技游戏中，几毫秒的输入延迟就可能决定胜负。

为此，推出了2，它结合了上一代的低延迟模式和新的Frame Warp技术。在将渲染帧发送到显示器之前，它会根据最新的鼠标输入信号进行更新，这可以减少高达 75% 的 PC 延迟。 。

为了解决帧扭曲期间的图像撕裂问题， 还开发了一种延迟优化的预测渲染算法，该算法使用先前帧的透视、颜色和深度数据来对这些撕裂进行精确的图像修复。

上届CES上，展示的AI NPC技术（基于ACE实现）也吸引了不少关注。

通过ACE，无需提前准备脚本，游戏中的角色就可以像真人一样与玩家进行语音对话。

现在这项技术也迎来了升级，其应用范围已经扩展到具有自主意识的游戏角色，比如AI队友。

而且能力更加丰富，可以利用AI让这些角色像真实玩家一样感知、计划和行动。

另外，去年的AI NPC的对话内容需要传输到云端进行处理；

现在50系列显卡的计算能力有了很大的提升，还推出了小语言模型。算法和算力同时升级后，对话内容的处理也可以在本地完成。

《绝地求生（绝地求生：绝地求生：绝地求生：绝地求生）》将通过 Ace 服务和定制小模型，提供一个在游戏中看起来像真人的虚拟队友。

它可以与您交谈并密切协调您的动作，帮助标记物品，甚至开车过来迎接您。

国产游戏方面，网易《永恒之劫(:)》的PC版也将在今年内推出类似的功能。

总之，老黄已经给大家准备好了所有的工具，接下来的压力就在游戏公司了（手动狗头×2）。

- 超过-

量子比特·今日头条签约

关注我们，第一时间了解前沿技术动态