全球首个百亿参数级空天一体遥感解译基础模型——“空天·灵眸”3.0版发布。9月21日,第一届空天信息技术大会在山东济南开幕。大会为期2天,有多项成果集中发布,“空天信息十大前沿问题”全球征集活动也正式启动。
近年来,我国遥感数据获取能力不断增强,已进入遥感大数据时代,人工智能等新型数据处理方式也为数据服务模式的变革提供了可能。“空天·灵眸”是我国首个面向多模态遥感数据生成式基础模型,也是首个专为遥感领域打造的行业基础模型。自2022年首次推出后,中国科学院空天信息创新研究院研究员付琨团队在“基础模型+下游任务”计算范式积累上持续探索。今年3月起,团队与鹏城实验室深度合作,基于中国算力网“鹏城云脑II”枢纽节点,采用512张昇腾910显卡,历时数月攻关,完成了在4亿张国产化多模态空天遥感数据样本上的预训练,基础模型参数规模首次超过百亿。
“如果把基础模型看作是一个机器人,那么,‘参数’就相当于它的‘记忆细胞’和‘知识细胞’。”空天院研究员孙显介绍,参数规模小,它能记住和处理的信息就相对有限,只能做一些比较简单的任务。参数规模越大,两种“细胞”就越多,它就能捕捉、记忆和处理更复杂的信息,从而更加准确、精细地完成更困难、更复杂的任务。
“空天·灵眸”3.0版的内核工作架构是基于热传导,这是联合团队自主研发的一套小而精的原创性架构。受传热学物理思想启发,联合团队将场景目标间视觉语义传播建模为热能扩散过程,从而使该架构有效突破了遥感模型推理的性能和速度瓶颈,计算速度较传统结构模型提升2.4倍以上。架构实现了模型数据学习、推理等速度的大幅提升。例如,原来训练1000万张数据样本,需要大约300多块显卡,现在仅需三分之一的数量,处理速度还能提升约2.4倍。
目前,该模型已表现出极为优秀的泛化解译性能,可完成多种类型的复杂任务。其在覆盖场景分类、目标检测、语义分割、变化检测等6大类任务的23个国际基准数据集上测试,较当前的主流模型,精度平均提升4%至10%,指标均达到领先水平,并已在应急、国土、海洋、住建等多个行业部署试运行,特别是在最具挑战性的复杂要素精细分类、运动小目标连续跟踪等任务上性能卓越,为天临空地一体化应用提供了一套行之有效的解决方案。未来,研究团队将持续推动“空天·灵眸”3.0版在国民经济各个行业的落地应用。
“北斗精准导航与高分遥感综合服务平台”也在开幕式上发布。该平台是面向北斗与遥感综合集成、服务应用的精准时空数据服务平台,通过跨学科、跨领域交叉融合,坚持应用场景驱动,打通“定位-导航-控制-作业”以及“观测-反演-模型-决策”两个技术链条,形成北斗高精度高可信定位、遥感数据立方体和信息立方体服务能力,可为用户按需提供多样性北斗与遥感创新集成服务。
“空天信息十大前沿问题”全球征集活动启动,号召全球空天信息领域的学术界、科研界、教育界、产业界共同携手,广泛征集能为空天信息科技研究提供指引,影响支撑未来空天信息科技发展的前沿科学问题、工程技术难题和产业技术问题。征集结果预计于2025年在《科学》发布。