虎牙CTO谈数字人:是一种虚实结合的直播内容生产方式

“目前主流的虚拟形象软件使用门槛高,包括使用流程繁琐、付费购买、CPU占用高等多方面问题。此外,虚拟形象同质化严重,而导致普及率不高。”

11月7日,虎牙首席技术官(CTO)赖立高在广东广州举办的“虎牙LiveTech大会”上抛出上述观点。

赖立高说:“直播时使用的虚拟形象可以满足二次元品类主播的需求。同时,还能解决部分主播不愿露脸直播的问题(如语音直播、游戏直播),降低开播门槛,扩大主播的受众范围。”

虎牙CTO赖立高

不过,赖立高指出了国内虚拟直播的行业性问题。“相较于国外的成熟,国内的虚拟直播整体仍处在初级阶段,其中很大一部分原因源自技术的门槛。与真人直播不同,虚拟直播对技术的要求非常高,以往的虚拟偶像直播时无法保证能够与粉丝进行及时、深度的互动,如同播放视频一般,就很难让用户产生亲近感。”

此次发布会上,虎牙发布了基于虚实结合开放平台HERO诞生的直播AI数字人形象-——“晚玉”。 在展示中,数字人晚玉的体态、动作,以及眼睛、皮肤和头发等细节逼真,此外,技术赋予了“晚玉”真人主播不一定具备的街舞等才艺。

对于“晚玉”具体是如何实现跳舞才艺的,虎牙AI总经理许佳介绍道:“比如(系统)捕捉到主播的动作,让主播和虚拟形象的结合。还有一种方式是可以把视频提炼出来的动作赋予虚拟形象。”

据许佳介绍,数字人“晚玉”的背后包含建模、驱动和渲染三大核心技术,运用了3D重建、人脸结构化、动作迁移和实时渲染、AR融合等多项技术。以建模技术为例,在数字人晚玉上,虎牙扫描了2000万面超高精度拓扑的模型,通过肌肉和骨骼绑定后,可驱动的表情面数超过4万个。在肢体上骨骼动作支持超过70个自由度,可还原日常动作及跳舞等才艺。

值得注意的是,随着5G时代的到来和AI技术的发展,包括B站、快手在内的国内头部玩家都加入了数字人、虚拟形象的赛道。至于虎牙的数字人有何优势,许佳说:“虎牙数字人的优势在于做成实时的,目的是为了直播,而其他的都是剧本,生成视频。数字人的技术还能够在直播的基础给主播赋能,打破直播在空间时间的限制。”此外,他介绍道:“在平台上有很多已经有的数字人IP,你可以把你的形象拿过来,我们通过驱动技术把这些形象驱动起来,然后再渲染给观众。”

据虎牙方面介绍,直播数字人主要的意义在于打破了当下主播自身的限制,以及当下直播方式在时间和空间上的限制。而通过打破这些限制,直播数字人实际上为未来虚实结合的直播内容生产方式,创造了无限多的可能性。

现场有媒体提出“‘晚玉’的形象是虎牙与DK公会合作的,而普通公会或者主播能否承受它的成本”的疑问。

对此,赖立高说:“我们平台上有超大主播、大主播和小主播,我们会逐步推出更低成本的内容,让更多的主播用上。此外,平台能够提供许多中小主播不具备的能力和工具,有第三方开发者给他们提供帮助。”