IT时报记者 孙妍
6月20日，2024年上海世界移动通信大会（MWCS2024）举办前夕，神经拟态视觉传感公司Prophesee与Ultraleap、雷鸟创新三方联手发布了在AR领域的最新合作，Prophesee以事件视觉传感（event-based vision sensing）技术见长，Ultraleap擅长于手势识别技术，两者结合，可以实现低功耗、高速度的精准手势识别和更自然的人机交互。
而在2024年2月，在巴塞罗那世界移动通信大会（MWC）期间，Prophesee宣布其手机影像去模糊解决方案可投入量产，并与高通合作，将该技术集成到支持第三代骁龙8移动平台的设备中。
在MWCS2024期间，《IT时报》记者在现场观看了Prophesee手机影像去模糊、基于事件视觉的MOTION MAP、频闪检测、用于手机的3D结构光技术、光学防抖、视频插帧等产品演示。从手机到AR眼镜，从拯救糊图到模拟人眼，这家小米投资的法国初创公司正像工匠一般，在视觉传感器领域精雕细琢。
手机影像去模糊解决方案可投入量产
一位巴黎歌剧院芭蕾舞团的舞者随音乐翩然起舞，想用手机定格这一刻，但捕捉到的画面出现模糊失真。因为在快速移动、低光环境下，传统基于帧的RGB传感器已经难以应对，如何还原人眼捕捉到的清晰画面？
RGB传感器拍摄的图像和Prophesee事件传感器捕捉的数据一结合，影像瞬间就变得清晰起来。Prophesee副总裁兼大中华区总经理杨雪飞向《IT时报》记者解释了工作原理，RGB传感器捕捉的是一帧一帧的图像，而Prophesee Metavision 事件视觉传感器以微秒为单位记录的事件填充到两帧图像的间隙，融合起来就得到了一个运动连贯的影像。那么，何为事件？ Metavision 传感器中的每个像素都有一个内嵌的逻辑核（logic core），使其能够作为神经元来工作。每个像素都能根据各自感应到的光子数量，异步且智能地激活自身。像素的每次激活称为一个“事件（event）”
为了再次直观地体验Prophesee图像去模糊的效果，《IT时报》记者举起手机拍摄正在快速转动的彩色转盘，只能得到一个模糊的影像，看不清不同颜色之间的边界。而在摄像头上搭载Prophesee事件传感器后，画面瞬间就清晰了，甚至能还原到静态照片的清晰度。
清晰成像是一个系统化的工作，快速对焦和背景虚化涉及到3D结构光技术，拍摄运动场面视频涉及到光学防抖和视频插帧技术，Prophesee逐一展示了其产品demo，比如频闪检测技术。很多RGB传感器采用的是卷帘快门，无法避免拍摄的影像出现一条条闪烁的光带，这就是频闪。接着，工作人员将手机放置在一个台灯下，屏幕上实时显示出闪烁频率和具体位置，手机就能根据检测结果来针对性优化。
此外，结合AI算法，Prophesee 事件视觉传感技术还可以实现非常好的视频插帧效果，不仅能够提供流畅的运动重建、更高的视频质量，并且更加节省智能手机的功耗。
今年2月，Prophesee影像去模糊解决方案已经进入可量产阶段，并集成到支持第三代高通骁龙8移动平台的设备中。
在AI手机成为新趋势的当下，事件视觉传感器能实现与主流AI加速器更好集成的优势也越发凸显。
XR设备成另一大消费级市场
Prophesee这家法国创业公司曾拿到过小米、英特尔资本、博世创投、雷诺集团、欧洲投资银行、创新工场、韦豪创芯、惠友资本以及沙特阿美风投旗下的多元化增长基金Prosperity7 Ventures等公司和机构的投资。2022年，它还成为了欧盟融资最多的无晶圆厂半导体公司。
Prophesee最核心的技术是独创了事件视觉（event-based vision）传感器和系统，可以通俗地理解为“神经拟态机器眼”，模拟人眼视觉的运作模式，其第一款产品便是用于帮助视障人士恢复视力的。
传统的机器视觉技术是基于帧，即机器每秒看到25帧的静止图像，但这种成像方式受限于固定的帧率，无法及时响应场景动态变化的信息，而且每一帧图像还会储存大量的重复无用的数据，耗费昂贵的系统处理资源。而Prophesee“神经拟态机器眼”则将生成数据量降低十倍至千倍，特别是在高速和低光照环境下，可以更好地还原人眼看到的世界，也就是改变了机器看世界的方法。
2023年，Prophesee推出业界首款专为超低功耗边缘视觉设备集成设计的 Metavision事件视觉传感器 GenX320，为Prophesee第五代Metavision 传感器产品，采用尺寸为 3x4mm 的裸片，尺寸的不断缩小也快速拓展了其应用范围。
于是，Prophesee的产品从人眼拓展至手机，又延伸至XR产品等新兴消费级设备市场。MWCS2024前夕，神经拟态视觉传感公司Prophesee与Ultraleap、雷鸟创新三方宣布，将联手开发低功耗的手势识别技术，共同推动 AR 体验迈向全新高度。就跟平常操控手机和智能手表一样，用户可通过滑动和双击实现自然熟悉的交互，无需频繁触碰眼镜。而雷鸟创新在AR硬件上的技术积累，让AR眼镜能够延展多语言对话翻译、智能导航、AI智能助手等功能，手势识别加语音识别，使得AR眼镜的交互方式更多元，沉浸感更强。
除了消费级终端外，汽车、物联网等都是其目标市场。在现场demo演示中，Prophesee还展示了事件视觉传感器在老人跌倒监测方面的应用。Prophesee的事件视觉传感器可以在复杂光源和环境下保持稳定的性能输出，准确识别老人跌倒等异常行为并及时发出警报，并且误报率更低，即使在洗手间、浴室等湿度较大的环境下也能保证超高准确度和极低误报率。
根据市场研究公司Yole的数据，神经形态传感市场在2025~2030年间将以116%的复合年增长率增长，到2030年将达50亿美元。Yole的《2021年神经拟态计算和传感报告》显示，移动、工业和新兴市场将是主要的神经拟态市场领域。
Prophesee将中国视为最大的消费级市场，包括手机、XR和新能源汽车等都展现出极强的韧性和不错的前景，于是，Prophesee在上海设立了他们在中国市场的第一个办公室，也是他们在海外开设的第一个办公室。