小米11“超大杯”强在哪?夜枭算法有啥用?这些问题都有了答案

小米追赶手机影像技术最前沿的种种努力,我们有目共睹。
每年都会首发使用新的超大底传感器,升级镜片结构并投入伸缩镜头、液态镜头等新形态研发,组建上千人的手机相机研发部门,在夜景等场景中不断改进专用算法。最终,小米得到了不断刷新的DxOMark分数,以及媒体和消费者肉眼可见的影像表现提升。
图片
2020年8月,小米10至尊纪念版用前所未有的影像规格和实际表现,颠覆了人们对小米手机的认识,雷科技和读者也通过一场影像品鉴会认识到了背后的技术提升。大半年后,代表着小米手机影像新高度的小米11 Ultra/小米11 Pro发布,这次的影像品鉴会又传达了什么新东西呢?
大投入已是小米影像主旋律
在不同场合中,我们都有听到小米关于手机研发投入力度提升的表达,小米11 Ultra相机更是耗费了2亿元。其中占到大头的当然是体积同样巨大的GN2传感器,小米表示用了18个月和三星完成定制,相机部总监苗雷入职时就开始参与相关工作。
小米也不客套,表示在传感器研发之初就提出了较高的目标,经过一年半时间前期工作后,于2020年10月才有了初版样品,而后几乎每天都有召开中日韩三国研发会议。GN2在继承双原生ISO Fusion和Stagger HDR特性的同时,具备更大单像素面积、Dual Pixel Pro和高采样率。
图片
GN2有了垂直感光能力,精度提升对焦也更快,2.4微米到2.8微米的像素面积提升,看着进步不大,但是画面降噪能力能提升36%。工程师小林篤建议,如果要拍更清晰的照片可以切到50MP模式,暗光环境下更适合4合1的默认模式。GN2还带来了1920fps的超级慢动作,而之前只有960fps。
小米将手机影像系统的器件算力和算法,比作烹饪好菜要有好食材、强大火力,厨师厨艺,用上GN2传感器和骁龙888后小米也在算法上带来进步。计算摄影正在越来越多地改善手机拍摄体验,从纯粹的学术概念变为技术与营销名词,小米则在相关的算法部分投入300人以上队伍。
小米打造了图像算法加速引擎MAGE,可充分调用跨平台/异构硬件,与不同合作伙伴一起维持体验一致性,今年下半年将把核心部分对外开源。而到了具体的算法上,已经有夜枭算法进入实际产品,具备数据获取、网络模型两大创新,最多使用8张RAW来进行极暗光拍摄处理。
图片
MIX FOLD的影像系统则代表着小米对手机拍照发展的探索。花费两年时间克服各类问题,于手机上首度将液态镜头投入量产,镜头中充入无毒无害的惰性光学流体,可模拟人眼变焦在长焦和微距模式间切换。澎湃C1是投入百人团队两年研发的成果,能对骁龙888的ISP进行补充计算。
负责人表示,小米已经有了独立研发手机ISP新品的技术储备。
大底传感器“大力出奇迹”
小米10至尊纪念版后置四摄的长条形镜头模组,让手机拥有让人印象深刻的辨识度,到了小米11 Ultra上,改为了占据近1/3面积、酷似卡片相机镜组的设计:左边是主摄、超广角和长焦,右侧以1.1英寸副屏替代人像副摄。小米承诺副屏预览功能未来会支持视频和更多拍照模式。
图片
至于为什么小米11系列不再搭载人像副摄,对方表示以GN2为代表的主摄,在2倍无损变焦下可以替代前者的2倍光学变焦用途。不过雷科技依然认为,像50mm焦段人像副摄等透视关系特殊,画面表达更接近潜意识认知中“人眼真实观感”的摄像头,具有不可替代的价值。
小米高端手机主摄传感器进化飞快,在最近三年间经历了HMX到OV48C再到GN2的变化,然而这在手机行业中并不多见。影像体验口碑较好的iPhone和Pixel,都是在连续几代产品中基于同一款传感器不断改进,最新的Pixel 5就还在使用MIX2S同款的IMX363。
小米表示,这几款传感器的“高像素”和“大像素”,会是并行的两条研发路线,高端手机用户更青睐快速和夜景拍照好的手机,因此基于GN2做了方向性调整。同时也不难看出,大感光面积的大底传感器会是小米一大特色,看来手机设计师要持续为平衡功能性和美观性花费心思了。
图片
小米11 Ultra通过更好的镜头和算法缓解畸变,却没有用上近期热门的自由曲面镜片。负责人表示自由曲面镜片在110°~120°效果明显,但在128°广角下会出现画面中心和边缘亮度差异大的情况,小米一直更青睐更大的视场角,因而选择用7P镜片来提升超广角体验。
当被人问起,小米11 Ultra长焦的5倍光学变焦与竞品的10倍光学变焦有何差异,小米更多地提到了曾作为小米9主摄传感器的IMX586的硬件优势。诸如1/2英寸感光面积在裁切实现10倍数码变焦时,照片效果更接近无损,更大的光圈和48MP像素4in1合成可以带来更优夜景表现。
相比讨喜,小米更爱“真实”
手机影像军备竞赛愈演愈烈的今天,拍照录像的风格化也开始被更多声音提起,一些厂商的正面评价就来自色彩风格明显的成片。小米似乎并不太认同,他们表示现阶段目标就是要做真实还原,这一判断基于全国各地各类用户调研结果,正在努力来达到真实还原。
雷科技和研发人员确认,包含文档模式、智能识别场景调整色彩能力的AI模式以及滤镜功能,都不会作为相机应用拍照默认开启的选项,向用户呈现“真实”画面始终是小米提升手机影像能力的优先目标。
图片
“夜枭算法”是小米11 Ultra和小米11 Pro影像系统的一大特色,只需等待2秒到5秒,在普通模式下就能拍出清晰客观的夜景照片。小米表示,不同于传统超级夜景的多帧堆叠,夜枭是真正采用端到端神经网络处理实现的夜景算法,直接是RAW进RAW出。
开发团队在尝试将夜枭算法加入夜景模式中,目前设定为在极低亮度环境下才会生效,和平常会出现明显光源的夜间场景有区别。现阶段小米完成了主要的夜景体验梳理,更适合用来随手拍夜景。低调出现的三脚架模式,由于用户使用频次较低,会在后期加以改善。
负责人还提及了对手机影像算法发展的展望,希望挑战传统摄影不可能的东西,虽然对普通用户来说是图一时新鲜。就当前的发展趋势而言,行业很难预测那种技术路线会成为未来多少年内的热门。小米正在努力让手机能当作夜视成像仪使用(视频化),拓宽夜景算法场景。
跑分不再只是争口气
就如八个月前回应的那样,小米依然认为DxO分数不是影像提升目标而是参考,除了另有构建自己的评价体系,也一直在帮助他们完善评测标准。DxO客观性权威性在近段时间遭受质疑,甚至有厂商公开表示不再送测,但从这番表态来看,小米手机仍会是刷新高分的种子选手。
与相机厂商展开品牌、技术等层面合作,是不少手机厂商都在进行的动作,小米可能依然不会贸然跟进。相关负责人表示,小米与其他品牌进行合作的前提是要能带来市场价值和用户价值,如果可以有影像技术提升且互惠互利那就能做,反之亦然。
图片
“和用户做朋友”在小米提升影像体验的过程中同样有体现。截至当前,小米相机月活超2.4亿,开发团队通过各类线上渠道收获了100万条反馈,同时期也进行了上百次线下沟通活动,这一切都是为一个目标服务——要打造专业智能的相机。
根据摄影师建议加入专业间隔拍摄功能,于是多款小米手机都可以拍星空延时、长曝光等原本需要专业设置才能拍摄出来的特殊画面。在录像功能上,小米11 Ultra和小米11 Pro做了两款手机一起拍摄的多机联录,支持电影风格的功能和调色,甚至还在尝试做视频中的人像抠图。
手机影像千里之行,才刚起步
品鉴会一开场,小米手机部总裁曾学忠就回顾了影像的历史:十年前也就是2010年,全球数码相机出货量达到顶峰,如今却出现巨大落差。这与智能手机影像能力飞速提升关系密切,原本需要专门购入相机才能捕捉到的画面,现在都能被手机轻松保存。
图片
但我们也知道,手机影像发展还只能说是刚刚起步,还有许多细节等待完善。例如小米追求的真实,应该做到何种程度才能满足更多人,小众喜好又该如何应对?硬件素质升级大步流星,算法和软件体验应如何及时跟上,形成稳定发挥的整体,让用户真正拍出所见即所得的好照片?
希望在不远的将来,小米可以又快又好地达成“用科技让更多的人爱上手机摄影”的愿景。