政企的大模型难题,“云”能解几道?

全文1884字,阅读约需6分钟,帮我划重点

划重点

01智能化浪潮开始席卷政企市场,AI在电力调控、汽车和医药等领域具有广泛应用前景。

02阿里云通过升级飞天企业版和百炼专属版,广泛参与政企大模型在众多业务场景的落地。

03然而,政企大模型应用面临算力、开发和稳定性难题,需要专有云平台和底层算力解决方案。

04飞天企业版联合多家GPU厂商,实现异构GPU的池化管理,提升算力利用率和性能。

05由于此,阿里云智能集团副总裁曾震宇表示,大模型只是工具,需要与具体业务场景相结合,发挥更大的业务价值。

以上内容由腾讯混元大模型生成,仅供参考

图片

数字化转型方兴未艾,如今智能化浪潮开始席卷政企市场。

图片

AI的业务价值,需要找对业务场景

电力调控是典型的适合大模型入场的政企业务场景。

随着太阳能发电的入网比例越来越高,复杂的天气状况会实时影响发电量,同时随着新能源车的普及,用电侧的数据也更加灵活多变。为了保持发电量和用电量的均衡,调控人员需要每天查询大量的数据。在这个业务中加入BI大模型,可以大幅提升数据的查询效率。

除了电力之外,汽车和医药也有对应的大模型应用落地。

中国一汽基于通义千问推出的大模型GPT-BI大幅简化了集团层面的数据分析流程,以前需要花费7天进行开发的数据报告,如今在出差途中通过语音就能及时调取。

阿斯利康基于通义千问和百炼专属版打造的医药智能体,可以对药物不良反应进行自动分析和总结。此前药物的不良反应报告需要专业的知识工作者花大量的时间去读相关的文档,然后再做相应的整理创作,从而形成内部的不良反应报告。

医药智能体诞生后,将科研人员从繁琐的文献阅读、筛选、撰写工作中解放出来,并且提升药物安全把控的效率和准确度。据统计,阿斯利康的药物安全把控效率已提升300%,准确率已从90%提升至95%。

大模型技术涌现后,改变了人与计算机的交互方式,但也容易带来一些过高的期待。

图片

在拜访了众多企业后,阿里云智能集团副总裁、解决方案研发部总经理曾震宇发现很多人把大模型当成是一个目的,期待大模型给业务带来翻天覆地的变化,但其实大模型只是工具,需要与具体的业务场景相结合。

大模型的价值不止局限于手机APP和AIGC,与具体的场景结合后,大模型在生产效率优化、数据挖掘和分析等方面可以发挥更大的业务价值,阿里云通过升级飞天企业版、百炼专属版,广泛参与政企大模型在众多业务场景的落地。

图片

算力和开发难题,可以上“云”解决

政企业务具备一定的特殊性,部分业务不适合在公有云部署,需要建设专有云平台。

如今训练一个基础大模型,算力要求是万卡起步,一般还需要两个万卡集群,哪怕垂直的行业大模型也需要千卡。并且有卡不一定有算力,大模型的算力基础设施并不是简单的硬件堆砌。

除此之外,政企开发大模型还面临着稳定和兼容难题。数据显示,GPU故障率是CPU的120倍以上,而政企部分业务的特殊性,又要求维持全年365天稳定可用;当众多实体一起投入大模型研究的时候,芯片供应变得很紧俏,混合使用多厂商芯片的异构算力底座成为常态,当不同型号、不同厂商的卡进入同一个智算中心,做好兼容成为了挑战。

截至2023年底,我国算力总规模达230EFlops,位居全球第二,在刚刚结束的云栖大会上,阿里云智能集团副总裁、专有云总经理刘国华表示:“如果真的去数中国的算力,中国不少的,怎么可以管理起来提升利用率是更关键的能力。我们觉得通过云的统一运营能力,可以有效提升算力的利用率”。

飞天企业版,是阿里云的专有云平台,本质是把阿里云公共云变成一个私有云平台,部署到客户的本地,为了顺应智能化时代的需求,飞天今年也成为阿里云的智算升级重点业务。

图片

第一,关于兼容问题,飞天企业版联合了多家GPU厂商,支持23款GPU接入跟管理,并且可以实现异构GPU的池化管理,把整个GPU的利用率提升100%;通过训推任务和资源调度策略结合,将算力资源碎片减少30%。

第二,性能方面,飞天企业版可以针对推理场景进行性能的优化,通信的带宽最大可以提升100%,模型的吞吐量提升23%。并且通过跟多个硬件GPU厂商合作,把国产卡的性能提升10%左右。刘国华在云栖大会上表示,10%只是一个开始,阿里云以后会通过平台的方式跟各个GPU厂商一起合作,逐步提升整体硬件性能。

第三,在稳定性上,飞天企业版提供一体化监控和分析诊断能力,针对故障节点可以实现分钟级定位和诊断,整体故障监控覆盖率达到80%。

同时针对私有云中的运维和管理难题,阿里云的运维大模型“云维小智”上线,据了解,其推荐的运维方案可以覆盖日常45%的场景,目前已经在国家电网和交行开始部署。

图片

下有飞天,上有百炼,飞天可以解决算力难题,模型开发难题则可以交给百炼解决。

政企多年来积累了大量图表、公式等复杂资料,如何将这些资料处理成大模型能够理解的数据成为了挑战。类似这些开发难题,阻碍了大模型应用的迅速落地,为此,在底层算力之外,同样需要开发层面的解决方案。 

如今基于百炼专属版打造的智能体已在政务、电力、医药研发、科学研究等等多个领域落地。

图片

十年深耕,AI带来云的新浪潮

到目前为止,阿里云已服务超1000家政企客户,覆盖90%的央国企。六大国有商业银行、两大电网、中石化、中国邮政等都已跑在阿里云上。

智能化时代,云计算迎来了新的业务跳板,基于AI带来的广泛需求,阿里云利润实现翻倍增长,财报显示阿里云2024年第二季度经调整EBITA利润同比增长155%,单季度EBITA利润达到23.37亿元。

数据显示,我国政府数据资源占全国数据资源的比重超四分之三,政企的大模型业务是云计算规模化的重要一环。随着越来越多的政企大模型落地,公众服务将加速步入智能化时代。

(本文来自第一财经)