《黑神话:悟空》取材于《西游记》的故事和人物角色,融入了大量古代建筑、东方美学、国风音乐等中华文化元素,36个取景地中,共有27个來自山西,例如悬空寺、小西天等。在游戏中,高清逼真的渲染场景与现实世界无缝衔接,虚拟与现实的界限在精湛的技术下难以分辨,带来身临其境的沉浸式体验。
图2:山西悬空寺vs《黑神话:悟空》渲染场景
图3:《黑神话:悟空》3D实时渲染动态场景
图片来源网络[1]
在《黑神话:悟空》游戏开发中,有一至关重要的技术—3D实时渲染技术。它能够根据玩家的动作和视角变化,实时更新场景中的每一帧,确保游戏体验的流畅性和互动性。
(1)世界是“离散”的
光栅化渲染管线是当前主流的3D图形渲染方法之一,广泛应用于游戏中。其工作原理是将三维场景的几何数据(如多边形、顶点等)转换为二维图像,即将顶点信息连接形成的基本几何图元(如三角形)映射到二维的屏幕像素上。根据图元的顶点位置进行着色。光栅化渲染虽然高效,但是相比较光线追踪等物理更精确的渲染技术,其在光线的反射、折射、全局光照等方面的表现逊色。
图4:离散化渲染
图片来源网络
图5展示了不同密度三角面片表征的3D物体。随着三角形面片密度增加,3D物体越细腻,但也为3D计算带来了更大的负担。
(2)世界是“连续”的
3D物体的表征本质上是找到在3D空间某坐标下物体的例如反射率、光学密度、颜色等属性。数学上实际上需要找到一种储存关于3D点坐标与这些物体属性的方式。离散的3D表征实际上是显式地将这些关系存储在网格中,通过访问这些网格就能获得物体的属性,从而得到整个3D场景下的物体。那么有没有可能通过构造函数的方式,直接将输入的3D坐标映射为物体属性呢?神经隐式表征给了我们答案。
2021年谷歌研究所Ben Mildenhall等[2]提出隐式神经表示的神经辐射场(Neural Radiance Field,NeRF)。NeRF通过优化多层感知机的神经网络,实现从输入的稀疏视图合成复杂场景新视图。输入5D坐标(空间位置(x,y,z)和观察方向(θ,φ),输出该空间位置的体积密度和与视角相关的辐射度(颜色),通过体渲染方式合成极具真实感的新视角渲染结果。但是该渲染技术训练效率低,难以实现高分辨率实时渲染效果。2022年,英伟达Thomas Müller等[3]提出了Instant NeRF,采用多分辨率哈希表方式减少浮点运算和内存访问次数,能在几秒钟内完成高质量神经图形基元训练,并能在几十毫秒内完成1920×1080分辨率的渲染。
Nerf是计算机视觉中认知的一次飞跃:
尽管NeRF已经在高真实感的新视角合成方面取得了突破性进展,但它依然存在隐式表达不直观、训练效率低等问题[4]。
图6:NeRF投影与渲染过程
图7:Instant NeRF 实时渲染结果
(3)在“离散”与“连续”中找到平衡
自2021年Nerf提出以来,有大量的工作前赴后继,为Nerf的改造与应用添砖加瓦,然而就在2023年夏天,Nerf的强大对手3D高斯泼溅(3D gaussian splatting, 3DGS)[5]正在蕴量着一次革命。3DGS结合隐式辐射场表示和显式渲染的优势。它首先将场景物体显式表示为点云,然后给每个点赋予一个3D高斯椭球。显式地将3D场景表示为多个3D高斯函数,每个高斯椭球连续地表征当前点云的3D物体属性。使用可微的光栅化进行渲染,基本思想是将所有3D高斯根据相机参数投影到影像平面上,形成一系列的二维平面高斯,再通过二维平面上高斯的叠加混合,最终合成影像[6]。通过对比渲染图像与实际拍摄图像直接的差异优化3D高斯椭球的参数,能够在1080p分辨率下实现高质量的实时新视图合成。近期,德国图宾根大学Andreas Geiger课题组[7]介绍了一种抗锯齿3D 高斯泼溅方法Mip-Splatting,引进了3D平滑滤波器和2D Mip滤波器以实现任意采样率下的无伪影渲染。该工作获得2024年CVPR最佳学生论文。
图8:3D高斯函数溅射过程
图9:3DGS实时渲染结果
3D实时渲染技术不仅在游戏领域有着广泛应用,还在多个行业展现了其重要价值[8-10]。在自动驾驶领域,3D渲染技术可用于创建虚拟驾驶环境,协助自动驾驶系统识别和处理各种路况。例如,Waymo和Tesla等公司利用该技术进行自动驾驶的模拟测试。在虚拟现实与增强现实的应用中,3D渲染技术使人与虚拟环境之间的沉浸式交互成为可能,提供实时的交互反馈。微软推出的HoloLens增强现实设备可广泛应用于工业制造、建筑和医疗等领域,而Meta也推出了Meta Quest系列头显设备。此外,苹果推出了混合现实设备Apple Vision Pro。它们通过3D渲染技术实现用户与虚拟环境的互动。这项技术还被用于危险操作培训,如飞行员培训。在生物医学领域,3D渲染可用于手术前的三维成像与模拟,帮助医生规划手术路径,同时协助研究人员创建人体模型。天文学家则利用实时3D渲染构建并观察星系、恒星等天体的三维模型,还可以创建虚拟天文馆,让公众以沉浸式的方式探索宇宙。
图10:3D实时渲染技术的应用
3D实时渲染技术在自动驾驶、人机交互、虚拟现实、生物医学和天文观测等多个领域展现了广泛的应用前景,推动了智能化和可视化的发展。这项技术不仅提升了用户体验和产品功能,也加速了产品创新与迭代,具有显著的市场价值和工程价值。通过精准的3D视觉模拟,3D渲染技术正悄然改变工业和日常生活的传统模式,助力提供沉浸式体验和智能化操作范式,从而提升了工作效率和决策能力,印证了“科技改善生活、科技服务生活”的理念。
作者:陈雅婷,张书赫(清华大学)
参考文献
策划&监制:曹金
编辑:赵阳
来源:中国光学