英伟达与斯坦福大学利用AI开发更小更轻的XR眼镜

英伟达技术博客最近更新的一篇文章透露,英伟达正与斯坦福大学 Gordon Wetzstein 教授的计算成像小组紧密合作,致力于改进 AR 眼镜的设计,以实现更轻、更紧凑的佩戴体验。
这次革新的核心在于引入了一种新型显示元件——空间光调制器(SLM),它并非操控光的强度,而是独特地操控光的相位,从而实现在 SLM 的前方或后方重建逼真的 3D 全息图像。基于这一原理,团队成功研发出了厚度仅为 2.5 毫米的超薄全息眼镜。该设计巧妙地结合了波导技术、全息近眼显示器和几何相位透镜,确保了眼镜的极致轻薄。
图片
为了验证这一技术的可行性,团队已经制造出了台式和可穿戴式原型。其中,双目可穿戴原型不仅支持为虚拟内容提供全面的 3D 深度提示,还拥有 22.8 度的对角视场角,静态 eye box 达到 2.3 毫米,并配备了具备光束控制功能的动态 eye box。
令人惊喜的是,这款原型眼镜的重量仅为 60 克(不包括驱动板),为用户带来了前所未有的佩戴舒适度。
图片
值得一提的是,该设计还采用了 AI 驱动的全息算法。由于 SLM 通常由激光等相干光源驱动,而波导系统中相干波前的精确操控对于全息显示器至关重要,但相干光具有干扰特性。为了克服这一难题,英伟达团队运用物理精确建模技术与 AI 的完美结合,开发了一个数学模型,用以描述相干波在波导中的传播。这一模型通过 CNN 的学习参数、耦合器效率和波导传播等要素,能够精确预测全息眼镜的输出效果。
通过在捕获的数据集上进行训练,CNN 的学习参数、耦合器效率和波导传播使该模型能够准确预测全息眼镜的输出。