Meta Quest 3 头显透视摄像头被“破解”

IT之家 8 月 18 日消息,一位开发者巧妙地绕过了限制,成功利用 Quest 3 的透视摄像头运行自定义计算机视觉模型,可以识别摄像头看到的物体。
图片
Meta 目前并不允许第三方开发者直接访问 Quest 系列头显的摄像头,然而 XRWorkout 健身应用的联合创始人兼首席开发者 Michael Gschwandtner 在社交媒体上发布了一段视频,展示了他成功绕过了这一限制。
Gschwandtner 的应用随后会对接收投屏画面 (RenderTexture) 的 webview 进行像素内容采样,并可以根据需要进行进一步处理。在演示示例中,他将采样数据送入谷歌的 MediaPipe 设备端 SDK 进行处理。
IT之家注意到,该方法存在一个关键限制:投屏画面中除了透视摄像头画面之外,还包含虚拟物体和界面元素。这意味着该方法仅适用于透视画面占据大部分图像的情况。不过,Gschwandtner 表示他已为该限制设计了另一个变通方案。
目前尚不清楚 Meta 将如何应对 Gschwandtner 的发现。该公司可能会在未来版本的 Quest 操作系统 Horizon OS 中使该方法失效。Gschwandtner 在社交媒体上公开喊话,希望与 Meta CEO Mark Zuckerberg 或 CTO Andrew Bosworth 通话,向他们展示该技术。
上个月,Bosworth 在接受采访时谈到了有意向让 Quest 开发者访问透视摄像头的想法,并表示 Meta 将“继续关注”该问题。相比之下,苹果仅向企业用户提供其 Vision Pro 头显的原始摄像头数据访问权限,并且仅限于非公开的内部应用。