讲一下nvidia的dlss3.0

recklee

近些时间，经常能看到pc玩家在ps5板块嘲讽ps5只能4k30帧，4090 "4k" "120帧"。很明显这个"120帧"是开dlss3.0的基础上的，我经过搜索发现dlss3.0貌似并没有论文发表，只有nvida官方的一个简单介绍 https://www.nvidia.com/en-us/gef ... aphics-innovations/
同时我也观看了油管这个视频的一个科普"DLSS 3 Explained: How NVIDIA's RTX-4090 Uses AI to Increase Frame Rates"
我大概了解了dlss1.0，dlss2.0以及现在的dlss3.0的原理是怎么回事。

dlss2.0是用的深度神经网络模型，类似一个auto-encoder。它的训练集是大量低分辨率（如1080p）的图片和相应的超高清16k分辨率的图片。模型是泛化的模型，并不是一个游戏对应一个训练模型，这个模型经过nvida的超算群训练好后配置成相应的参数。dlss2.0使用这个模型渲染图像帧的时候，输入是原生由显卡渲染出的较低分辨率的图像帧，输出是4k的高分辨率图像帧。说白了就是对低分辨率图像进行上采样得到高分辨率图像，通俗一点说就是插入像素点，因为分辨率越高需要的像素点越多。所以很明显，dlss2.0就是一个后处理插值的过程，它把比方说一个1080p分辨率的图像帧插值成4k分辨率的图像帧，很明显这根本不是原生4k，效果可能比棋盘格要理想一些，但本质上都是由低到高的插值。dlss2.0相比原生4k就是降低保真率来提升帧数。

dlss3.0就是在dlss2.0的基础上加了一个新的模块叫做“ Optical Multi Frame Generation”，说白了就是在两个图像帧中间插帧，这个插帧算法是基于深度神经网络的，输入是两个连续的用dlss2.0渲染出的4k图像帧，它们之间的光流场（Optical flow field）和游戏引擎传递过来的motion vectors，总共4个输入。输出是一个完整的靠ai生成的4k图像帧。

因此可以发现实际游戏画面的输出就是dlss2.0后处理得出的4k图像帧和ai生成的4k图像帧。整个dlss3.0包含两个ai模型，一个用来后处理图像帧进行像素插值，一个用来产生新的图像帧进行插帧。

dlss2.0插值的负面效果很明显，前面已经说过了肯定是比不了原生4k的，毕竟它是预测出来的，预测就必然有误差。dlss3.0新模块插帧的负面效果很明显，就是会导致延迟，因为它必须连续渲染2帧后才输出3帧，而非渲染一帧图像输出一帧图像，所以这个插帧和很多电视的那个插帧功能很像，都会产生延迟问题。这个延迟主要取决于两帧之间的时长，我们知道帧数越高，帧与帧之间的时间间隔就越短，因而延迟会不明显。但如果这个游戏开dlss2.0的时候低于30帧，那开了dlss3.0应该会明显感到延迟。如果dlss2.0有60帧以上，换成dlss3.0应该延迟不会太明显。这就是插帧非常尴尬的一个地方，帧数低需要插帧的时候延迟明显，帧数本来就很高（60+）再插帧虽然延迟不明显，但插帧也没那么有必要了。我敢打包票玩电竞的，尤其是fps电竞选手，绝对不会开dlss3.0。

dlss3.0原理总体上并不复杂，虽然在细节上实现会需要很多技巧，但本质上也不是什么黑科技。。。

当然4090的算力远超ps5，即使不开dlss，实际画面表现肯定要比ps5好。至于游戏体验因人而异，比如有人觉得地平线2的60帧模式画面相比原生4k糊，可是我在游戏里反复切换静态画面都看不出任何区别，动态游玩专注内容的时候更不会有什么不舒服的感觉。我玩游戏还是更看重整体的感觉，数毛对我来说没啥意义，当然像ns那种画面肯定是难以接受的。ps5的独占游戏内容都是我最喜欢玩的，这一点就足够了。
----------------------------------------------------------------------
关于延迟问题我找到的一个他们测试4090运行赛博朋克2077的延迟情况数据图
可以看到延迟的数据通常是几十ms这个量级，体验类似国内dota2玩家开加速器打东南亚服务器，这个对单机游戏的影响应该是可以接受的。

超级无敌大贱贱

其实2080ti已经比ps5好了. 更不提3090

超级无敌大贱贱

4090有点胡乱比较了，ps6应该可以对标3090.或者3090ti. 成本控制在那里.

该用户已被禁言

很明显这个"120帧"是开dlss3.0的基础上的
我不明白楼主是说的哪款游戏 4090有很多游戏在4K下全开不开DLSS一样能跑满144更别说还有更高刷新的显示器了
极多的游戏DLSS开启后并不会影响画质像2077那样开启才有点明显
看你最后说地平线2开性能模式也感觉不糊那就有意思了
DLSS你觉得糊地平线2你觉得不糊 典型的双标
你写的文章第一行你说有人嘲讽PC后面最后一行又说数毛对你没意义你看重其他的
很明显的前后矛盾，这都23年了，很多人都是全平台玩家，你在说PC嘲笑PS5的同时自己岂不也是
只是你PS5没法用机能类的嘲笑PC只能说体验更好之类的
嘲笑DLSS无用的8成都是绝烂的显卡眼红别人而已，有没有用有没有效果自己体验才知道

该用户已被禁言

你喝醉了，4090  99%的游戏都是最高特效、最高光追、不开DLSS就能4K 120帧以上 ......    买4090的不傻，一张显卡的价格可以买到三四台PS5，一个电脑的价格动不动就上两万，岂能是开DLSS才能4K 120帧 ......

recklee

拉捷特 发表于 2023-4-27 08:32
很明显这个"120帧"是开dlss3.0的基础上的
我不明白楼主是说的哪款游戏 4090有很多游戏在4K下全开不开DLSS一 ...

不是嘲笑dlss，dlss算法效果不错我怎么可能嘲笑呢，我主要是科普下dlss3.0的原理，很多人应该不太清楚。至于后面我的感受那是我个人感觉，我觉得地平线2性能模式不糊，我全文也没有说dlss糊吧，我只是说明dlss是怎么回事。

该用户已被禁言

最后一段暴露了。ps5性能比高端PC差不是常识吗?非要嘲笑pc几句寻求自我安慰。

你是阿刁

讲的挺好的

该用户已被禁言

好吧，你说的都对，所以我DLSS2根本不开，目前3A玩啥都是4K 全拉满120P，少数几个光追要求高的，开个3补下帧，PS5我也玩，这种一眼锐的对比怎么说呢，就是5.2的视力和300度近视不带眼镜玩游戏的感觉。

该用户已被禁言

机能不够要真4K很容易，降特效就行了 ......  为什么很多跨平台游戏 主机端的画面都比不上PC，而PC才是画面和帧数的完全版？为什么？  因为PC显卡的性能更强，用的CPU、主板这些性能比主机强多了，这都是主机跟PC的性能差距，所以在性能不够的情况下主机只能降特效或者降帧数 才能够真4K ，而PC不用降 直接拉最高特效达到最高帧数，所以PC不仅画面比主机强，帧数也比主机高 .......  以上都没有谈最高光追，最高光追的效果岂是主机端能够比的，所以在你玩PS5的时候  最强PC端已经达到了PS6的效果 ......