毫末智行采用国产数据库OceanBase,半年完成数十亿数据表迁移

图片
4月25日,自动驾驶领域的人工智能技术公司毫末智行透露,已经完成数十亿数据表的迁移工作,而背后采用的是蚂蚁集团旗下的自研原生分布式数据库OceanBase。
自动驾驶领域每天会产生大量的数据集,目前毫末智行拥有数十亿的数据对象,包括车型、硬件型号、雷达位置、图像收集位置等强管理数据库。对于海量数据的采集、处理、管理,给毫末智行带来了很大的技术挑战。整个数据处理过程包括原始数据的采集、分解、打包,数据推理、筛选、分类、自动标注、数据交付等,对时效性、处理效率等要求很高。
毫末智行原本采用的数据库专注于OLTP场景,在处理极大量数据时容易遭遇性能瓶颈,且扩展方式复杂,难以满足数据处理阶段对扩展性的要求。此外,毫末智行还搭建在多云环境上,管理难度进一步提升。
作为一款为关键业务负载打造的分布式数据库,OceanBase既能比主流单机数据库提供更好的性能,也能实现分布式架构下事务处理和实时分析的最佳性能,同时以统一的技术栈最小化管理成本。
毫末智行将数据迁移至OceanBase后,对数据进行处理时,即使是超长的慢SQL,执行时间也能保持在2-5秒之间。此外,OceanBase具备动态扩容的能力,可以实现无感知平滑扩容,在数据量增长或业务调整时能快速响应需求。
OceanBase还适配了多云平台上基于基础设施的各类存储系统,同时借助OCP工具,毫末智行的数据库运维工作人员也得以实现对数据库的图形化管理,实现集中管控,更好地管理和监控各个集群的状态和性能,确保系统的稳定性和可靠性,大大简化运维流程,减少人工干预和操作成本。
毫末智行运维工程师赵国良表示,过去半年,通过OceanBase提供的OMS数据迁移工具,已经完成了数十亿行数据表的迁移工作,这种大规模的数据迁移需要高度的技术能力和精细管理,进一步证明了OceanBase的强大功能和卓越性能。(数智前线/牛慧)