谷歌体三维捕捉新突破:实现后期任意照明修改

查看引用/信息源请点击:reality.news

在任意环境下真实地重照明人类

映维网 2019年11月20日)随着市场对AR体三维视频的需求开始逐渐增长,谷歌研究人员正在探索如何优化相关的实现过程。作为研究努力的一个成果,团队开发了包含330可编程LED灯泡和约100个摄像头的球形设施:“The Relightables”。名为《The relightables: volumetric performance capture of humans with realistic relighting》的论文已经发布在ACM期刊 。

据介绍,Relightables系统实现了三项创新。首先,包含的摄像头是用作深度传感器,能够捕获对象的12.4MP深度图;然后,团队创建了几何和机器学习重建管道,后者能够从捕获的数据中合成视频。最后,系统能够捕获与深度图时间同步的反射比图,从而允许操作员在AR或VR场景中操纵对象的照明,不再是原始工作室的照明条件。这种信息是通过交替闪烁两种不同的颜色渐变图案所获得,而系统会在视频重建期间将其用于推断对象的反射特性。

团队在论文中写道:“尽管行业已经在体三维捕获系统方面取得了重大进展,但其主要是集中在具有高分辨率纹理的3D几何重建,而在恢复重新照明所需的光度特性方面则少有涉猎。相比之下,大量的研究工作探索了基于图像的可重照明获取问题,亦即在一组基本照明条件下拍摄对象,然后重新组合图像,以仿佛是出现在目标照明环境中时的样式来显示对象。但这种方法一直都不适合在高分辨率的体三维捕获系统中使用。我们的方法整合了这种能力,可允许系列在任意环境下真实地重照明人类,并且包含自由视点体三维捕获的优势,以及在动态表现的几何精确度实现了提升。”

体三维视频领域在过去两年间一直在稳步增长。除了微软的Mixed Reality Capture Studios外,英特尔、索尼同样构建了自己的捕获工作室,而Verizon则通过收购Jaunt涉足体三维捕获技术。体三维视频在增强现实体验中的用例十分广泛。与此同时,Magic Leap收购Mimesys及其实时全息视频通讯技术表明,体三维捕获有望在未来改变人们的通讯方式。

另外,谷歌创意实验室和Opera Queensland的合作揭示了另一个用例:虚拟剧院。在SIGGRAPH大会亮相的原型体验包含通过Relightables系统捕获的三位演员表演。在谷歌的大力支持下,基于Relightables体三维捕获系统的3D内容将能为沉浸式体验带来更多的真实感,令我们愈加难以区分虚拟与现实。

---

原文链接:https://yivian.com/news/68991.html