超1亿数字人点燃亚运圣火背后:支付宝AI+AR技术支持 历时3年开发测试

9月23日晚,杭州第19届亚运会开幕式精彩呈现。现场,超1亿数字火炬手跑出支付宝App汇聚大莲花点燃主火炬,实现全球首个数字点火仪式;万名观众在现场通过支付宝放飞许愿灯召唤吉祥物,实现全球首次大型演出AR互动创举。
图片
“我们决定首创一种万众参与、数实融合的数字点火仪式,让每个人都能在数字世界里参与亚运,弘扬奥林匹克精神”,开幕式总导演沙晓岚表示,“我们需要一个实实在在能够容纳上亿人同频共振的平台。亚组委向我们推荐了支付宝,感谢技术工程师们让设想变成了现实”。
据介绍,为了让线上火炬传递及点火仪式做到人人可参与,3年来,支付宝工程师们针对300多台不同年代、不同型号的手机,进行了超10万次测试,敲下了20多万行代码,并通过自研Web3D互动引擎Galacean、AI数字人、云服务、区块链等多种技术的结合,保障了使用8年前老旧手机的用户都可顺畅成为数字火炬手,参与火炬传递。
而为了让人们既有参与感、又有真实感,他们开发58个捏脸控制器,人工智能根据人脸识别画出数字火炬手的面孔之后,可对脸型、头发、鼻子、嘴巴、眉毛等进行调整,实现自由换装。这个应用可提供2万亿种数字形象,满足了“一人一面”的定制需求。
激动人心的点火仪式外,开幕式AR互动也令现场观众印象深刻,打开支付宝扫描主舞台,即可在现场召唤吉祥物“三小只”、放飞许愿灯、寄送明信片......AR(增强现实)与 AI(人工智能)的技术融合让人耳目一新。支付宝技术团队融合人工智能、空间计算、三维渲染等技术,并依托自研的Web3D互动引擎Galacean,进行了3个月的研发优化,才让AR互动达到了影视级细腻效果。
同时,支付宝技术团队派出近30人小组,在大莲花3层看台、24个区域、216个点位,围绕不同角度、用不同方式采集10-20秒数据,累计采集了超过40万帧的影像数据。所有图片数据交由AI算法训练,识别成功率超过95%,确保了即便是坐在角落的观众在暗光环境下也能参与其中。
“我们希望让几万名观众,能参与到开幕式中,成为现场演出的一部分。”总导演沙晓岚表示,“这也是智能亚运的一个体现,以科技创新之力,打造亚运经典记忆。”
文/北京青年报记者 温婧
编辑/樊宏伟