多媒体实验室助力START云游戏上线《黑神话：悟空》，提供低时延高画质的极致体验！

引言：

全网爆火的国内首款3A制作单机游戏《黑神话：悟空》于2024年8月20日发布，由于游戏本身宏大的规模和复杂的渲染技术，流畅运行该游戏，需要较高的硬件配置支撑。例如，官方给出的支持“全景光线追踪最佳配置（高画质4K 光追超高）”的设备建议：处理器 i7-9700/Ryzen 5 5500；显卡RTX 4080 SUPER（16GB显存）；内存32GB。

START云游戏同步支持了该游戏的运营，使用户在无需使用高昂的终端硬件，仍然能够享受到顶级游戏带来的震撼与乐趣。为配合《黑神话：悟空》上线，START提供了专为黑神话适配优化的GPU的高配版本（支持游戏内开启4K、开启光追，体验顶级画质）和支持更多“天命人”群体体验的普通版本（游戏内暂时支持1080P渲染、无光追）。

START的云游戏技术，使得游戏用户体验这款新游戏的门槛大大降低。在该游戏上线三周之际，我们从视频编解码和处理的视角，来探讨一些有助于该游戏画质提升的技术话题。

一.超低延时超分辨率技术

腾讯多媒体实验室通过自研的「超低延时超分辨率技术」，将普通版本的1080p渲染画面升级为2K和4K画质，为给各位“天命人”提供接近4K高配版本的画质体验。下图1和图2 (左)分别是《黑神话：悟空》的1080p云游戏在4K（3840x2160）以及2K（2560x1440）屏幕上的实机体验画面对比，在文字、图标等地方都会出现明显的锯齿状纹理；而图1和图2(右)是通过腾讯多媒体实验室自研的「超低延时超分辨率技术」进行画质升级的4K和2K画面，可以看出文字、图标等锯齿状纹理明显减轻或消除，草地及石块等纹理更加清晰，主观画质体验明显提升。

图1. 《黑神话悟空》1080p(左)与超分4K(右)画面对比

图2. 《黑神话悟空》1080p(左)与超分2K(右)画面对比

为了提供更加稳定流程的游戏体验，「超低延时超分辨率技术」通过设计「特征提取」、「多抽头高精度亚像素上采样」、「自适应增强去模糊」、「文字不均匀效应改善」、「基于主观视觉的自然化处理」等多个模块中进行算法剪枝与并行，实现了整套算法流程的GPU加速。目前1080p超分至4K的速度从最初的0.6fps (单帧1700ms)提升至300fps(单帧3ms)，GPU使用率仅会增长1%-3%，用户基本无法感知到延时的增加，但可以享受到远超1080p的画质体验。

二. 有限带宽下的画质提升

1. 基于人眼最小可觉差（JND）的编码优化

《黑神话：悟空》作为国内首款3A游戏，其画面细节纹理丰富远超普通游戏画面，这给视频编码与传输带来了巨大的压力。目前，该游戏线上运行的平均带宽在30Mbps（1080p）~60Mbps（4K）的范围内。为了适应用户复杂的网络带宽情况，在有限的带宽条件下尽量给用户提供最好的画质体验，腾讯多媒体实验室自研了「基于人眼最小可觉差的编码优化」方案。通过分析画面的空间特征，针对不同复杂度的区域使用不同的编码策略，例如人眼往往会更容易感知到低复杂度平坦区域（例如石头）的画面质量变化，而对于高复杂度区域（例如树叶）的画质差异相对不敏感。通过牺牲部分人眼感知质量差异不明显区域的画质，来提升人眼感知敏感区域的画质，从用户主观上极大的提升了画面质量。

下图3（右）是应用了「基于人眼最小可觉差的编码优化」后的4K实机画面，下图3（左）是相同编码配置下优化前的4k实机画面，可以看出石块、树干及人物等区域明显更加清晰，而树叶草地等细节丰富的区域画面质量基本感知不到变化，从而有效的提升了画面主观质量。

图3. 《黑神话悟空》基于人眼最小可觉差的编码优化前(左)后(右)画面对比

2. 针对游戏动态渲染帧率的动态编码策略

由于《黑神话：悟空》提供给用户灵活多样的画质参数选择，不同的画质配置可能导致游戏渲染帧率存在差异，不同的游戏场景也可能导致游戏渲染帧率发生波动。固定的编码策略无法适应游戏的动态渲染帧率，导致无法充分利用网络带宽，编码效率低，无法提供给用户更好的画质体验。腾讯多媒体实验室自研了「针对游戏动态渲染帧率的动态编码策略」，通过设计实现「动态渲染帧率监控」，「实时编码配置调整」，「异常逻辑监控」，「风险预检测及规避」等模块，深度结合实时游戏渲染帧率和网络探测情况，保证在不同的游戏渲染帧率下，都能给用户提供当前网络带宽下最高的画质体验。

下图4（右）是应用了「针对游戏动态渲染帧率的动态编码策略」后的1080p实机画面，下图4（左）是固定编码策略下的1080p实机画面，可以看出画面中因为码率不足导致的模糊区域明显减少，人物、树木、石块等区域的细节都更加清晰，画面主观质量明显提升。

图4. 《黑神话悟空》针对游戏动态渲染帧率的动态编码优化前(左)后(右)画面对比

三. 实时画质监控与动态码率调整技术

给用户带来极致的画质体验和不可感知的交互时延一直是云游戏所追求的方向。《黑神话：悟空》作为一款国内现象级3A大作，其整体色调偏灰暗，同时包含丰富的纹理细节，玩家对3A大作的画质也有比较高的预期，以上这些因素对编解码时的画质保障提出了不小的挑战。

为了给各位“天命人“提供不亚于本地高配机器所运行的画质体验，腾讯多媒体实验室基于自研的「SQoE画质系统」，充分考虑多种典型的游戏内交互场景，在游戏内渲染配置和基于实时画质反馈的编码策略调整方向做了很多优化工作。

具体来说，通过使用自研基于多模态大模型的画质评价算法作为评价准则，充分挖掘人眼视觉感知特性与多模态大模型的能力，我们对游戏内渲染方案做了多个维度的评测，并在每个渲染分辨率下给出优化后的渲染配置。进一步地，在渲染方案确定后，我们使用同样的客观质量评价算法对渲染后的编码环节做定向优化。考虑到线上玩家具有不同的网络带宽与瞬时网络抖动，我们通过计算瞬时图像画质，结合当前可用网络带宽，并考虑待编码的画面复杂度等多个因素，来动态调整编码策略，以保证在有限的资源下给出用户最好的画质体验。

图五给出了不通编码参数配置下的画质对比。可以明显的看到，优化前到画面有比较明显的压缩失真，如背景树叶部位的模糊和石狮子头部的细节丢失。经编码优化后，不论是树叶部分还是石狮子部分，压缩失真都应很明显的改善。

图5. 《黑神话：悟空》同等目标码率下，画质优化前(左)后(右)画面细节质量对比

总结

START云游戏技术，在网络带宽，交互时延和终端画质等几方面约束下取得了优秀的平衡，为用户带来了极致的游戏体验。其中，多媒体实验室通过一系列视频编码和处理算法的提升，有力的支持了《黑神话：悟空》的线上运营。黑神话的热度还在继续，用户体验提升的探索也不会停止。