九名院士、12位专家共撰:“智能计算”的进展、挑战和未来!

光子盒研究院出品
计算是人类文明发展的重要推动力。
近年来,我们见证了智能计算的出现,在大数据、人工智能、物联网时代,智能计算作为一种新的计算范式,正在重塑传统计算,以新的计算理论、架构、方法、系统和应用推动数字革命。
之江实验室潘云鹤院士、王怀民院士、外籍院士Tariq S. Durrani、陈左宁院士等9位院士、12位专家首次对智能计算的文献进行了全面调查,涵盖其理论基础、智能与计算的技术融合、重要应用、挑战和未来展望——这是第一篇正式提出“智能计算”定义及其统一理论框架的综述。
这项调查将为学术界和工业界的研究人员和从业人员提供一个全面的参考,并为智能计算投下宝贵的洞察力。
图片
图片
文章的主要结构
人类社会正从信息社会转向智能社会,其中计算成为了制定、推动社会发展的关键因素。在万物互联的数字文明新时代,传统的数据计算远远不能满足人类日益增长的对更高层次智能的努力。人们对智能计算越来越感兴趣,加上计算科学的发展、对物理世界的智能感知,以及对人类意识认知机制的理解,共同提升了计算的智能水平,加速了知识的发现和创造。
近年来,计算和信息技术快速发展,得益于深度学习的空前普及和成功,人工智能(AI)被确立为人类探索机器智能的前沿领域。
计算能力是支撑智能计算的重要因素之一。如今,我们已经在智能和计算方面已经取得了巨大的成功,不过,仍然在两个各自的领域面临着一些重大的挑战,具体如下:
1)智能方面的挑战。使用深度学习的人工智能目前可解释性、通用性、可进化性和自主性方面面临重大挑战。大多数人工智能技术与人类的智能相比,效果很弱,而且只在特定的领域或任务中发挥作用——实现强大而普遍的人工智能仍有很长的路要走。最后,从基于数据的智能升级到更多样化的智能形式,包括感知智能、认知智能、自主智能和人机融合智能等,也存在着重大的理论和技术挑战。
2)计算方面的挑战。数字化浪潮带来了应用、连接、终端和用户的空前增长,以及产生的数据量,都需要巨大的计算能力。随着摩尔定律放缓,要跟上如此快速增长的计算能力要求变得很有挑战性。此外,智能社会中的巨大任务依赖于各种特定计算资源的有效组合;传统的硬件模式不能很好地适应智能算法,这限制了软件的发展。
到目前为止,智能计算还没有一个普遍接受的定义。此次,研究团队考虑到世界的三个基本空间:人类社会空间、物理空间和信息空间之间日益紧密的融合,提出了智能计算的新定义:
智能计算是一个包含了数字文明时代新的计算理论方法、架构系统和技术能力的领域,它支持所有世界的互联互通。根据具体的实际需求,智能计算以最小的成本完成商业任务、匹配足够的计算能力、调用最佳的算法,并获得最佳的结果。智能计算以人为本,追求高计算能力、能源效率、智能和安全;其目标是提供普遍的、电子化的、安全的、自主的、可靠的和透明的计算服务,以支持大规模和复杂的计算任务。
图片
基于人类社会空间、物理空间和信息空间的融合的智能计算概述。
首先,智能计算既不是替代,也不是对现有的计算机、云计算、边缘计算以及其他计算技术(如神经形态计算、光电计算和量子计算)的简单整合——相反,它是一种通过根据任务要求系统地、整体地优化现有计算方法和资源来解决实际问题的计算形式。 
相比之下,现有的主要计算学科,如超级计算、云计算和边缘计算,属于不同的领域。超级计算旨在实现高计算能力、云计算强调跨平台/设备的便利性、而边缘计算则追求服务质量和传输的便捷性。智能计算动态地协调边缘计算、云计算和超级计算领域之间的数据存储、通信和计算。它构建了各种跨域的智能计算系统,以支持端到端的云计算协作、云间协作和超级计算的互联。智能计算应充分利用现有的计算技术,更重要的是,促进新的智能计算理论、架构、算法和系统的形成。
第二,提出智能计算是为了解决未来人类-物理-信息空间融合发展中的问题。随着大数据时代信息技术应用的发展,物理空间、数字空间和人类社会之间的界限变得越来越模糊。人类世界已经演变成一个新的空间,其特征是人、机器和事物的紧密融合。我们的社会系统、信息系统和物理环境构成了一个动态耦合的大系统,其中人、机器和物以高度复杂的方式整合和互动,这促进了未来新计算技术和应用场景的发展和创新。
智能计算期望哪些智能能力、计算能力呢?
在理论框架中,人是智能计算的核心和智慧的源泉,代表着原始和固有的智能——元智能(自然智能)。元智能包括人类的高级能力,如理解、表达、抽象、推理、创造和反思,它们包含了人类积累的知识。主要特点如下:
- 他们执行高度复杂的认知任务;
- 它们能完成艰巨的学习、理解抽象概念、进行逻辑推理,并提取有意义的模式;
- 它们能最大限度地利用和改造自然环境,并组成一个由数百万人组成的合作社;
- 它们有自我意识。
所有的智能系统都是由人类设计和建造的。因此,在智能计算的理论体系中,人类的智慧是智能的源泉,而计算机是由人类的智慧赋予的。
图片
元智能和通用智能
我们把计算机的智能称为通用智能(机器智能),通用智能代表了计算机解决复杂问题的能力,具有广泛的扩展性,包括自然语言处理、图像识别、语音识别、目标检测和跟踪等。生物智能可以在以下四个层面转栽到计算机上:
- 数据智能
- 感知智能
- 认知智能
- 自主智能
认知智能的发展也由三个层次组成:
- 第一个层次是学习和理解,如文本解析、自动标记、问题理解等;
- 第二个层次是分析和推理,如逻辑连接和内涵抽象;
- 第三个层次是思考和创造。
如今,智能计算面临着大场景、大数据、大问题和无处不在的要求的挑战。随着算法模型越来越复杂,需要超级计算能力来支持越来越大的模型训练。目前,计算资源已经成为提高计算机智能研究水平的一个障碍。 
随着智能算法的发展,拥有丰富计算资源的机构可能形成系统的技术垄断。经典的超级计算机不适合人工智能对计算能力的需求。虽然算法优化可以在一定程度上减少对计算能力的需求,但它不能从根本上解决这个问题。现在,需要从架构、加速模块、集成模式、软件栈等多个维度进行全面优化。
图片
智能计算的计算能力
1)最直观和最有效的方法是通过“垂直提升(vertical lifting)”和“横向合并(horizontal expansion)”来加强基础计算能力。
垂直提升是指利用技术迭代、材料创新和架构设计来提高单个芯片在单位时间内所能处理的指令数量上限的计算组件的单位性能。在传统的冯-诺依曼架构下,通过技术手段突破性能极限、满足图形渲染和深度学习训练任务的计算性能要求。
随着摩尔定律的放缓,传统的冯-诺依曼计算模型将很快面临性能上限。这将导致功耗和散热问题成为处理器频率增长的障碍:传统的存储设备无法同时获得高速度和高密度。现有的以计算为中心的冯-诺依曼架构依靠由内存和存储组成的分层存储结构来维持计算性能和存储容量之间的平衡。该结构需要频繁地在处理器和存储器之间传递数据,因此计算效率下降、带宽有限,造成“存储墙(storage wall)”问题。 
为了突破传统芯片结构的限制,智能计算需要通过横向合并探索新的芯片。鉴于传统电子计算方法面临的挑战,建立在材料科学、光子学和电子学等多学科领域的集成光子学的出现令人振奋。量子计算以量子力学原理为基础,利用量子叠加、纠缠和量子相干实现了量子并行计算,从根本上改变了传统的计算概念。生物计算是在生物系统固有的信息处理机制基础上发展起来的。与传统的计算系统相比,它的结构一般是并行的、分布式的。
由于数据中心的多样化计算能力已经成为一种趋势,通用化和专业化的计算芯片将并行发展。以CPU和其他通用计算芯片为核心的传统技术要满足大规模数据处理的要求是相当有难度的。通用技术与专用技术的融合已成为一种有前途的方法。
2)异构集成(Heterogeneous Integration)包括异质结构集成和异质材料集成。异质结构集成主要是指将由多个加工节点制造的芯片封装在一起,以提高功能和性能。它可以封装由不同工艺、功能和制造商制造的部件。
传统的方式,即通过提高CPU的时钟频率和核心数量来提高计算能力,已经遇到了散热和能源消耗的瓶颈。异构集成可以解决这个问题。通过异构集成,不同的计算单元采用混合计算架构。每个计算单元执行其适当的任务,有效地提高计算性能。目前,主流的异质结构集成技术主要包括2D/3D封装、Chiplet等。 
异质材料集成是指将不同材料的半导体元件集成在一起,以达到体积小、经济性好、灵活性高、系统性能好的目的。通过硅和碳的集成,将生物元件用于信息处理和计算,被认为是一种创新的探索。碳基和传统硅基芯片的有效整合有望在计算能力、存储密度和能源效率方面达到新高度。
3)广域协作(Wide-Area Collaboration)的人机物一体化场景下的数据具有地域分布广、场景覆盖全、集体价值大等特点。实时采集、感知、处理和智能数据分析需要分布式并行计算能力的支持。因此,广域协作是非常必要的。
广域协作计算将高性能计算(HPC)、云计算、雾计算(fog computing)和边缘计算等计算资源低成本地连接起来。它实现了供应方资源的自动横向扩展。需求方的多样化任务需要一个跨管理领域的新的计算基础设施,并以低成本、高效率和高度信任的方式按需协作。
在支持万物互联的智能计算场景的引领下,广域协作计算以自主、点对点的方式支持资源的纵向和横向融合。在建设安全可靠的智能计算新基础设施中,存在着跨领域的资源和任务的智能匹配、调度和协作的巨大挑战。
图片
智能计算的特点。智能计算具有以下特点:理论技术上的自学习和可进化性、架构上的高计算能力和高能效、系统方法上的安全性和可靠性、运行机制上的自动化和精确性,以及服务性上的协作和泛在性。
智能计算包括两个基本方面:智能和计算,它们相互补充。智能促进了计算技术的发展,而计算是智能的基础。这两个基本范式从五个方面进行了创新,以提高计算能力、能源效率、数据使用、知识表达和算法能力,实现无处不在、透明、可靠、实时和自动的服务。
1)数据智能
提高计算的普遍性对于智能计算至关重要。现实世界中的问题,如模拟、图形等,需要各种计算。智能计算的另一个关键点是如何提高计算的智力水平。从经验上看,我们都需要向自然界中的智能生物学习,计算也不例外,比如三种经典的智能方法:人工神经网络、模糊系统和进化计算。
- 模拟计算。模拟计算模型可以有很大的复杂度,与普通数字计算相比,模拟计算既有优点也有缺点。它在计算和分析方面都能实现实时操作、可以同时操作多个数值;硬件设计简单,没有传感器的要求,可以将输入/输出转换为数字电子形式,而且带宽消耗较少。然而,模拟计算的可运输性较差、只能解决一个预设类型的问题。由于计算受到环境因素的影响,要获得精确的解决方案通常是很困难的。
- 图计算。在数学上,图论是对图的研究,它是用来模拟对象之间成对关系的数学结构。图对代数、几何、群论和拓扑学等数学理论至关重要。图处理器使用图作为数据模型来表达和解决问题,可以完全描绘事物之间的关系。 
图计算架构在数学和相关领域,如动态系统和复杂性计算中也显示出很好的应用价值。近年来,图处理专注于大规模图数据领域,旨在实现大规模图的数据存储、管理和effi古计算。
随着图数据规模的扩大,主流研究方向是将图处理与大数据相关技术相结合,如分布式计算、并行计算、流计算、增量计算等。随着数据库技术的发展,图数据库以其全面的应用场景和灵活的模型推演而强势崛起,它们已经成为新兴的NoSQL数据家族中的四个核心成员之一。
图片
图计算的技术架构
近年来,随着深度学习技术的发展,图数据被作为神经网络模型的输入,并衍生出各种类型的图神经网络模型和计算方法。  图神经网络,如图卷积网络、递归神经网络、图注意力网络、图残差网络,都是从深度学习的技术框架中发展起来的。  他们从结构性数据移植到半结构性数据,保留了模型的结构和功能的特点。  同时,针对图数据结构改进了核心数学模型,在分类、预测、异常检测等问题上取得了良好的计算效果。
- 人工神经网络。自20世纪80年代以来,工程技术被用来模拟人脑神经系统的结构和功能,以构建人工神经网络。人工神经网络通过许多非线性处理器模仿大脑神经元的连接,它通过计算节点之间的输入和输出来模拟突触之间的信号传输行为。
典型神经元的结构和人工神经元的结构
经过几十年的发展,已经提出了近40种人工神经网络模型,包括反向传播网络、感知器、自组织地图、Hopfield网络、Boltz-mann机器等。近年来,许多经典模型,如CNNs、RNNs和LSTMs,已被广泛用于图像、语音、文本、图形等领域的各种分类和预测任务中。
- 模糊系统。Lotfi Zadeh最初在1965年提出了模糊逻辑的概念。模糊系统是一种基于“真度”模糊逻辑的计算技术,而不是当代计算机所基于的典型的“真或假”(1或0)的布尔逻辑。模糊逻辑可能被视为思维的真正运作方式,而二进制或布尔逻辑是一个子集。
模糊系统是在使用传统的集合理论和二进制逻辑不实用或有困难的情况下,使用模糊方法建立的信息处理架构。它们的主要特征是将符号信息表示为模糊的条件(如果-那么)规则。模糊器、模糊推理引擎、知识库和反模糊器,构成了模糊系统的传统结构。
当缺乏全面的数学描述或使用精确(非模糊)模型的成本很高或很困难时,模糊系统就有实际应用。模糊系统是处理不完整数据的重要工具,例如,用于信号和图像处理、系统识别、决策支持和控制过程。
- 进化计算。进化计算是一种独特的计算类型,它从自然进化过程中获得线索。一些计算机科学家从自然进化中寻找灵感并不意外,因为构成我们星球的众多生物都是经过特殊设计的,可以在它们的生态位中茁壮成长,这表明了进化在自然界中的力量。进化计算的一个关键点是将这种强大的自然发展与一种称为试错(也称为生成和测试)的特定解决问题的方法进行比较。
在20世纪40年代,早在计算机发明之前,就已经有了使用达尔文原理来自动解决问题的想法。1948年,图灵创造了“基因或进化搜索”这一短语,到1962年,布雷曼已经进行了“进化和重组操作”的计算机测试。在整个60年代,核心思想出现了三种不同的实现方式:Holland将他的方法命名为遗传算法,而Fogel、Owens和Walsh在美国提出了进化编程,德国的Rechenberg和Schwefel同时创建了优化的进化策略。这些领域独立发展了大约15年。自20世纪90年代初以来,它们被认为是不同的技术方言,后来被称为进化计算。
2)感知智能
感知智能在所有智能系统中都起着至关重要的作用。感知智能专注于多模态感知、数据融合、智能信号提取和处理。典型的例子包括智能城市管理、自动潜水系统、智能防御系统和自主机器人。
图片
行业中使用的各种传感器类型(需要连接到物联网)
近年来,随着模式识别和深度学习技术的全面使用,机器在感知方面变得比人类更智能,在语音、视觉和触摸识别方面取得了重大进展。由于智能传感器的重要性和许多可能的应用,它们受到了很多关注。智能传感器已经发展成为具有检测和自我意识能力的物体,因为它们配备了信号调节、嵌入式算法和数字接口。这些传感器被设计为物联网组件,将实时数据转换为可以发送到网关的数字数据。
智能传感器的主要任务包括原始数据收集、灵敏度、过滤调整、运动检测、分析和通信。例如,智能传感器的一种用途是无线传感器网络,其节点与一个或多个额外的传感器和传感器集线器耦合,以创建一些通信技术;此外,可以使用来自多个传感器的数据来推断已经存在的问题;例如,温度和压力传感器数据可以用于预测机械故障的开始。
3)认知智能
认知智能是指机器具有与人类一样的逻辑理解和认知能力,尤其是思考、理解、总结和积极应用知识的能力。它描述了在真实环境中处理复杂事实和情况的能力和技能,如解释和计划。
数据识别是感知智能的核心功能,需要对图像、视频、声音和其他类型的数据进行大规模的数据收集和特征提取,以完成结构化处理;相比之下,认知智能需要理解数据元素之间的关系,分析结构化数据中的逻辑,并根据提取的知识做出反应。
认知智能计算主要研究机器的自然语言处理、因果推理和知识推理。通过对人脑神经生物学过程和认知机制的启发式研究,机器可以提高其认知水平,以辅助、理解、决策、获得洞察力和发现。
4)自主智能
两个关键因素驱动机器从被动输出到主动创造:一个强大的通用化模型,和与外部环境的持续互动。自主智能的发展路径从学习单一任务开始,到举一反三学习,通过与环境的动态互动逐渐达到主动学习,最终达到自我进化的高级智能目标。
5)人机集成智能
尽管在四个智力水平上取得了显著进展,但仅通过计算/统计模型,还需要更多的信息来从极其复杂的场景中获得关键见解。在这些场景中,人类应该继续在解决问题和决策中发挥不可或缺的作用,探索人类认知处理中涉及的元素,并将其与机器智能相结合。
- 人机交互。计算机以各种形式出现在日常生活和工业操作中,人机交互技术的发展进一步释放了计算机的潜力,提高了用户的工作效率。人机交互已经经历了人类通过手动工作、命令语言、图形用户界面(GUI)、网络用户界面等适应计算机的早期阶段。
随着网络的普遍发展和无线通信技术的发展,人机交互领域面临着巨大的挑战和机遇。用户在多媒体终端中需要更方便的交互模式。同时,操作界面在美学和形式上都有创新。它已经达到了多模态和不精确交互的阶段,并朝着以人为中心的自然交互的方向不断发展。
在这个阶段,人机交互使用多个通信渠道。模态涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法。多媒体交互系统使用各种人类感官通道和动作通道(如语音、手写、姿势、视觉、表情、触摸、嗅觉、味觉和其他输入)以并行和不精确的方式与计算机环境交互。它将人们从传统交互方式的束缚中解放出来,使人们进入一个自然和谐的人机交互时期。
- 人机集成。人机集成,由人和机器指导集成学习过程,直到达成共识,是以交互和协作的方式进行的,而不是静态的。它需要两个组件之间通过交互式平台进行直观的通信。因此,自我进化的综合智能对于处理动态场景至关重要,以便任务和数据能够快速变化。
人机共生是一种将人与机器能力相结合的先进模式。人机共生系统应该更好地理解人类在更好的互动和合作方面的意图。例如,可穿戴设备可以连接到衣服和鞋子上,以实现人机共生;在软件方面,元宇宙技术的发展将为人们提供完全沉浸式的人机共生体验。
未来,计算机技术将继续为我们服务,交互界面和任务将变得更加自然和智能。云端分布式交互协作系统将采用虚拟与现实相结合的方式构建。它将在信息感知、建模、模拟、推导、预测、决策、呈现、交互和控制的循环中获得人类功能;为重要应用提供平台支持能力,如在未知环境中的远程探索和操作、复杂系统的协同指挥和操作、人机协同驾驶环境以及虚拟与现实相结合的社会问题研究和治理。
- 脑机接口。脑机接口(BCI)是通过分析人(或动物)的脑电信号建立的一个交互式系统。它突破了传统神经反射弧结构的限制,使脑神经信号能够通过有线/无线与计算机直接通信,从而直接控制和与外部电子应用设备通信。
根据信号采集方法,脑机接口分为三类:非侵入性、半侵入性和侵入性。非侵入性脑机接口利用信号源,包括表面脑电图、脑磁图(MEG)、功能磁共振成像(fMRI)、功能近红外光谱(fNIRS)等。
半侵入性脑电接口使用皮层电图(ECoG),侵入性脑机接口利用皮质内脑电图。脑电技术由于设备获取简单、操作方便、安全、易于临床使用等优点而备受重视。
人工智能的发现经常出现,这主要是由于计算能力的不断提高。与最初普及深度学习的2012年开创性模型相比,2020年公布的最大模型所需的计算能力是其600万倍。在强调了这一趋势并试图量化其在2018年的增长速度后,OpenAI研究人员得出结论,这种快速增长不可能永远保持下去。事实上,迫在眉睫的经济放缓可能已经开始了。
从历史上看,人工智能的快速变化是由新思想或革命性理论推动的。通常,最新的最先进的模型只依赖比以前在运动中使用的更大的神经网络和更强大的处理系统来实现相同的目标。
2018年,OpenAI研究人员进行了一项基于计算能力跟踪最大模型增长的研究。他们利用训练人工智能研究史上一些最突出的人工智能模型所需的计算量,发现了计算资源快速增长的两个趋势。他们的研究表明,开发突破性模型所需的计算能力的增长速度与摩尔定律大致相同,摩尔定律是一个长期观察到的现象,即在2012年之前,单个微芯片的计算能力往往每两年翻一番。
尽管深度学习技术是过去十年中大多数人工智能发展的驱动力,但图像识别系统AlexNet在2012年发布时吸引了人们对其的新兴趣。AlexNet的引入促使顶级模型的计算需求急剧增加,2012年至2018年间,计算需求每3.4个月翻一番。
图片
过去十年计算能力需求的增长大大超过了宏观趋势
对图片分类的研究首次证明,在深度学习的最初几年,不断增长的计算能力不断提高性能。然而,当图像识别算法通过增加计算资源开始在某些任务上优于人类时,注意力转移到了其他领域。
2010年代中期,大型人工智能模型中使用了强化学习技术来玩Atari或Go等游戏。后来,一种名为transformer的新架构出现了,将重点重新放在了语言任务上。OpenAI的GPT-3是一种文本生成器,近年来已成为最受欢迎的人工智能模型之一。
尽管算法和架构的进步允许用更少的计算来适应更多的学习,但即使在这些进步之后,处理需求仍然很高。通过GPT-3的AlexNet需要相同的3.4个月的计算需求翻倍期。因此,计算能力正成为智能计算的瓶颈。与此同时,AI/ML平台的能源效率对于降低计算成本将变得越来越重要。
正在开发分布式机器学习(DML)方法,通过减少单个服务器上的计算负载来使计算具有可扩展性。一类DML被称为联合学习(FL),在保持服务器数据隐私的同时,特别有希望用于分布式学习。它还避免了从分布式位置向中央服务器传输大量数据的开销。毕竟,不同的DML范式在未来的智能计算系统中至关重要。
1)大型计算系统
当摩尔定律失效时,超大计算能力主要取决于并行堆叠大量计算、内存和存储资源。例如,“高性能计算”一词用于描述将大量计算机快速联网到一个“集群”中进行密集计算的做法。
- 高性能计算。高性能计算(HPC)允许用户比传统计算机更快地处理大量数据,从而获得更大的洞察力和竞争优势。在接下来的十年里,科学家们将看到他们的仪器的灵敏度和分辨率提高10-100倍,这就需要在数据存储和处理能力方面进行类似的放大。
传统的HPC体系结构是为基于模拟的方法(如计算流体动力学)而开发的。相反,开发应用程序是为了使用程序员可以访问的底层技术。现代HPC系统包括各种各样的硬件组件(例如,处理、存储器、通信和存储器)。HPC和人工智能的融合导致了对旧问题的新方法的开发和新应用的形成。
- 边缘、雾和云计算。自2006年以来,云计算已经成为一种公认的模式。它通过抽象底层计算、存储和网络基础设施,实现了应用程序部署和可扩展性。在云数据中心中,许多同质、功能强大的计算机通过高度可靠的冗余网络连接在一起。
由于处理器、存储器和通信技术的最新进步,计算能力的广泛增加塑造了物联网时代。智能手表、智能城市电网和监测生理数据的智能建筑设备都是这一新兴领域的例子。鉴于移动计算的进步以及人们普遍希望这些设备协同工作,出现了一种情况,即许多不同类型的设备都参与提供相同的服务或程序(例如,健康监测应用程序)。这些新的计算需求以本地计算范式的要求为典型,而云计算由于其上述特征而无法充分满足本地计算范式。
雾计算不仅仅依赖于边缘计算。相反,雾计算可以通过边缘计算来使用。此外,当云不在边缘时,它会包含在雾中。因此,雾必须存在于边缘设备和云之间的中间位置。它充当网络和边缘设备之间的中介,支持用于分析的本地计算。
图片
云、雾和边缘计算的图示
2)新兴的计算结构
推动数字计算的架构创新的目标包括更高效的能源管理、更低的功耗、更便宜的芯片总成本以及更快的错误检测和纠正。当涉及到某些无法在CPU上执行的人工智能操作时,人工智能加速器可能会大幅减少训练和执行时间。内存计算是一个非常有利的选择,因为它有助于存储单元进行基本逻辑运算,这样它们就可以在不需要与处理器交互的情况下进行计算——这是导致内存和处理器之间速度差距扩大的主要原因。
- 加速器(Accelerators)。在短期内,使用各种加速器的架构专业化将是保持计算能力增长的最佳方式。因为在实验室中制造的晶体管原型通常需要大约十年的时间才能集成到一般的制造过程中。然而,到目前为止,还没有出现可行的替代方案。因此,为这个问题找到一个实用的后CMOS解决方案的截止日期已经过去了近十年。
图片
公开宣布的人工智能加速器和处理器的峰值性能与功率散点图
加速器是确保所有科学计算用户期望的持续性能提升的最有效工具;然而,加速器应该由明确定义的用例驱动。因此,研究领域特别需要强调数据科学的某些特征,以便进行分析和模拟。IT行业的一些大公司一直在讨论下一代HPC系统如何变得更加多样化。由于这些硬件设计的长期改进,未来要保持HPC系统的效率和性能提高并不容易。
- 内存计算。很明显,计算机的使用方式正在迅速发展。根据冯·诺依曼的计算模型,计算机从一个称为内存的中央存储库中检索执行指令所需的数据和代码。尽管存储器设备有所改进,但存储器和处理器之间的性能差距仍在扩大。由于处理如此庞大的数据集超出了冯·诺依曼体系结构的能力,因此此类应用程序提供了显著的困难。
当存储单元能够执行基本逻辑运算时,内存计算(CIM)成为一种可行的选择,因为它可以独立于中央处理器单元进行计算。已经提出了几种基于CIM的替代计算机体系结构,这些体系结构打破了冯·诺依曼的范式。
三种概念计算方法:(a)传统数字计算,(b)近存储器阵列计算(NMAC)和(c)内存阵列计算(IMAC)
静态随机存取存储器(SRAM)[196197]或非易失性存储器[198199]都可以用于实现CIM,即SRAM-CIM或nvCIM。静态随机存取存储器(SRAM)可以用于构造CIM。SRAM-CIM或非易失性存储器(nvCIM)。
3)新兴计算模式
复杂性的存在往往是造成传统计算机故障的原因。如果一台超级计算机被难住了,很可能是因为一项特别困难的任务被提交给了大型经典机器。此外,当今高度复杂的人工智能模型(例如DNN)在边缘设备中的普遍使用仍然难以捉摸。这归因于操作这些模型的高级GPU和加速器存在功率和带宽紧缩,这导致处理时间长和架构设计繁琐。
鉴于这些事实,研究人员被激励创造新的计算模式,如神经形态和光子计算、生物计算和令人难以置信的量子计算。
- 量子计算。进入大数据时代以来,对数据处理速度的需求越来越大。与此同时,经典计算机的计算能力正在逐渐达到极限。然而,量子计算可以克服这一限制,因为它具有纠缠或其他非经典关联带来的量子优势,在许多复杂的计算问题中实现指数速度。量子计算的这一优势可以在短时间内处理大量信息,并成为下一代计算技术的一个有前途的候选者。
20世纪90年代初,Elizabeth Behrman开始将量子物理学与人工智能相结合。现在,量子信息技术极大地影响了计算机的发展。与计算机科学所考虑的经典比特0和1相比,量子物理学开始考虑这些经典比特是否可以被量子比特重新放置以进行操作。由于它的叠加状态,这个量子比特可能代表0或1,这取决于上下文。叠加存在于许多量子系统中,包括光子的两个正交偏振方向、电子在磁场中的自旋方向和核自旋的两个自旋方向,所有这些都在量子计算中有应用。量子系统的叠加赋予了量子计算并行计算的优势,这大大提高了量子计算的速度。与经典计算机相比,量子计算机可以指数级地提高计算能力。
此外,如果我们从量子计算的角度研究人工智能,我们可能不需要一台非常先进的通用量子计算机。大多数时候,特定功能的量子处理器可以满足人工智能算法,并显示出量子优势。
图片
显示复杂性类别之间关系的图表和用于识别和评估可能的量子优势的流程图
近年来,人工智能和量子计算持续升温,逐渐成为两大研究热点。量子人工智能是一门结合了这两个热门话题的跨学科前沿学科。目前,人们认为,如果其中一种数据或算法是量子的,那么可以将其归纳为量子人工智能的范畴。这一新兴学科存在两个重大问题:一种是使用先进的经典机器学习算法来分析或优化量子系统,并解决与量子力学相关的问题;另一种是建立基于量子硬件的量子学习算法,并利用量子计算的并行性来提高机器学习算法的速度。
最后,还有另一种情况:算法是量子的,数据也是量子的,但在这一领域没有实质性进展。
量子人工智能具有广阔的应用前景。例如,量子人工智能已被应用于药物合成和各种化学反应的处理。尽管量子人工智能发展迅速,但它仍处于初级阶段。许多应用仍然受到量子比特数量和特定功能量子计算机中环境噪声引起的误码率的限制。因此,现在我们从量子的角度研究量子人工智能。我们都考虑如何构建一个可扩展的系统,并确保量子比特在计算过程中接收到最少的噪声。我们相信,经过几年甚至几十年的发展,量子人工智能将为世界带来第六波浪潮。
目前,我们必须每天处理大量数据。这些数据之间存在关联。图形算法可以从这些数据之间的关系中获得许多有用或隐藏的信息。图形计算作为下一代人工智能的核心技术,已被广泛应用于医疗、教育、军事、金融等多个领域。然而,当图形的规模很大时,对计算资源的需求将大大增加。例如,确定最大的全连通子图的问题是一个NP难问题。现在,我们思考是否可以使用量子计算来提高图计算的速度。高斯玻色子采样已经多次被证明具有量子优越性,同时,我们发现该图可以被编码到高斯玻色子抽样机中[222223]。也就是说,我们可以使用采样结果来快速确定全连通子图(集团)的最大数量。
- 神经形态计算。Carver Mead在20世纪80年代首次提出“神经形态”一词,当时它主要涉及大脑启发计算的混合模拟数字形式。尽管如此,现在有相当广泛的硬件被认为属于神经形态计算的范畴,这是该领域发展的原因,也是大脑启发的计算机系统出现大量资金的原因。
非冯·诺依曼计算机是那些类似神经元和突触的计算机。它们的构造和运作受到大脑中神经元和突触的启发。与冯·诺伊曼计算机不同,神经形态计算机利用参数和神经网络拓扑结构来构建程序,而不是预先定义的指令。神经形态方法的一个子类依赖于在模拟神经网络中生成和操纵“尖峰”。尖峰出现的频率、大小和形状可以用于在神经形态计算机中存储数字数据,而冯·诺依曼计算机将信息编码为二进制值。二进制值转换为尖峰,反之亦然,这仍然是神经形态计算中的一个研究课题。
图片
传统计算系统和启发大脑的计算系统的结构。
神经形态计算机由于其能量效率而非常适合计算:它们通常以传统计算机的一小部分功率运行。它们消耗的功率非常小,因为它们是事件驱动的,并且高度并行化,这意味着只有一小部分系统同时工作。考虑到计算的能源消耗不断增加和能源受限程序(即边缘计算)的出现,能源效率是探索神经形态计算机实现的有效动机。此外,神经形态计算机非常适合现代人工智能和机器学习应用,因为它们固有地执行类似神经网络的操作;神经形态计算机具有处理多种计算的潜力。
- 光子计算。光神经网络(ONN)比电神经网络提供了许多好处,包括超高带宽、快速计算速度和高并行性,所有这些都是通过使用光子硬件加速来计算复杂的矩阵向量乘法来实现的。
图片
深度神经网络,包括传统和电子光子。
为了跟上数据处理技术日益复杂和数据集数量的增长,我们需要具有紧凑尺寸和降低能耗的深度集成和可扩展ONN系统。光的叠加和相干特性允许ONN神经元在不同的环境中通过干涉、衍射自然耦合,而广泛的非线性光学效应可用于物理实现神经元的激活功能。
由于这些工具,其他类型的神经网络拓扑,如全连接、卷积和递归可以用光学方法实现。凭借当今最先进的光学技术,ONN每秒可以执行10万亿次运算,与电运算相当,每次运算的能耗可能与一个光子相当,甚至小于一个光子,比数字计算低几个数量级。
硅光子集成电路(PIC)由于其体积小、集成密度高、功耗低,正成为构建光学人工智能计算机所需的大规模紧凑处理单元的一种有吸引力的选择。
- 生物计算。生物计算是利用生物系统固有的信息处理机制开发的一种新的计算模型。生物计算机主要包括蛋白质计算机、RNA计算机和DNA计算机。蛋白质计算机以蛋白质运动规律为计算机操作的基本原型。RNA和DNA计算机使用核酸分子之间的特异性杂交作为基本模型。
生物计算的性能可能优于传统计算机
与传统计算相比,生物计算具有独特的优势,可以概括为强大的并行和分布式计算能力以及低功耗;第二,生物计算中的生物化学连接过程需要分子能量,不需要额外的外部能量,总体能耗非常低。例如,1焦耳的能量可以完成1000多次DNA计算,而传统的硅基计算机只能完成100多次计算——有一个数量级的差异。
在目前的技术能力范围内,生物计算不可避免地存在缺陷。受现有生物技术的限制,目前大多数生物计算机都是在纸上设计的,没有合适的条件进行相关的实验验证,更不用说构建了。
如果我们要跟上快速发展的环境中不断增加的问题,用同样的旧方法发现创新想法就不会停滞不前。然而,由于目前正在进行的计算机革命的影响,科学发现的步伐将前所未有地得到极大的推动。
1)材料科学计算
几十年来,计算材料(CM)已经成为研究材料财产和设计新材料的有力手段。然而,由于材料和材料行为的复杂性,包括缺乏许多原子、离子、原子和离子相互作用的力场和势能,分子动力学(MD)模拟中不同的热力学阶段,以及材料成分和工艺参数优化的巨大搜索空间,它们的应用受到了许多挑战。
人工智能集成到CM中被证明是对传统CM的一场革命,传统CM是一种新的研究范式。智能构型管理是材料信息学的一个主要组成部,并且越来越受欢迎。科学网上的相关出版物数量已达5万份:大约70%是在过去五年中发表的。人工智能和CM的集成在多个长度和时间尺度以及多个物理场耦合计算方面取得了巨大成功。
图片
材料/分子科学范式的高水平比较。左侧描述了传统范式,中间使用有机氧化还原流电池进行了说明。右边是一个闭环系统的模型。逆向工程、智能软件、人工智能/机器学习、嵌入式系统和机器人技术都是闭环系统的必要组成部分。
2)天文学计算
天文学作为最古老的观测科学之一,在历史上收集了大量数据,最近甚至出现了巨大的数据爆炸。天文学和天体物理学领域的特点是拥有丰富的数据和各种具有大孔径的地面望远镜,例如即将推出的大型天气观测望远镜和天基望远镜。
现在,使用高分辨率相机和相关工具,数据收集更加高效、并且在很大程度上实现了自动化。该系统每天将收集大约15TB的数据。关于有效的决策,必须进行更有效的数据分析;因此,需要智能计算技术来解释和评估该数据集。
- 星系的形态学分类。经过多年的等待和期待,詹姆斯·韦伯太空望远镜拍摄的第一张图像于2022年7月12日最终发布。一种名为Morpheus的机器学习模型在像素级别创建天文源的形态学分类:Morpheus在加州大学圣克鲁斯分校的Lux超级计算机上进行训练,该超级计算机由28个GPU节点组成,每个节点有两个NVIDIA V100 Tensor Core GPU。
机器学习模型迅速发展成为宇宙学和天体物理学中非常有效的工具。例如,细胞神经网络和世代对抗性网络(GANs)已被成功应用于促进星系分类。已经证明,这些ML算法可以实现90%以上的准确率,并且与传统方法相比表现同样好、甚至更好。
- 射频干扰检测。最新的研究表明,U-Net及其变体为语义分割提供了强大的架构基础:语义分割是基于深度学习的射频干扰(RFI)检测的关键组成部分。U-Net最初用于射电天文学中的RFI检测,将计算机生成的数据和布莱恩天文台信号天线捕获的观测数据相结合,用于训练和测试网络。在使用HERA天文台收集的合成和真实数据评估U-Net变体检测RFI后,为了提高对其他表示的泛化能力,作者将尺度和时间段划分为模型中的单独元素。如今,GANs已被证明可用于RFI检测。
3)药物研究计算
人工智能已受到所有药物设计阶段的影响。药物设计得益于人工智能,因为它帮助科学家建立蛋白质的3D结构、药物和蛋白质之间的化学反应以及药物的有效性。在药理学中,人工智能用于产生靶向化合物和多靶点药物。
人工智能还可以设计合成路线,预测反应产率,并理解化学合成背后的机械原理;人工智能使重新利用现有药物来治疗新的治疗目标变得更加简单;人工智能对于识别不良反应、生物活性和其他药物筛选结果至关重要。
图片
不同的基于DL的DTI预测算法考虑了不同的输入特性。因此,它们可以分为三类:a)基于配体的方法,b)基于结构的方法,以及c)基于关系的方法。
4)计算机辅助育种
粮食安全现在是世界关注的问题,部分原因是人口的快速扩张,预计到2050年将达到90亿人。纳米技术、RNA干扰和下一代测序等有前途的方法已经被开发出来,以提高农业产量,满足未来的需求。
作物育种最近见证了人工智能技术的使用增长,人工智能技术支持农业食品应用和供应链阶段的服务创建、模型识别和决策过程。人工智能在农业中的主要目标是准确预测结果并提高产量,同时最大限度地减少资源使用。因此,人工智能工具提供的算法可以评估性能,预测不可预见的问题或事件,并通过安装智能灌溉系统发现趋势,如用水量和灌溉过程管理,以处理农业问题。
图片
大数据与下一代人工智能在植物育种中的结合
人工智能促进了从种植到收割再到销售的整个农业价值链。因此,通过加强作物管理,有助于提高农业企业的效率。天气预报、改进准确检测病虫害的自动化设备,以及分析生病的作物以提高生产健康作物的能力,都是人工智能正在使用的常见领域
智能计算加速了转型变革,导致了经济和社会秩序的转变。由于技术进步,商品和劳动力市场正在发生巨大变化。人工智能的最新发展和相关进步正在将数字革命的边界推向新的方向。
1)数字经济
人工智能系统的发展有几种潜在的途径。总的来说,人工智能应该是数字经济中每一项数据驱动战略的核心,包括工业4.0。
可以开发和应用基于人工智能的预测模型来改进维护计划。此外,物联网和CPS应用应受益于人工智能,因为这些技术是为数据收集而非分析而创建的。最后,人工智能可能有助于工业、制造和服务应用中机器人和自动化的未来发展。对于这种独特的人工智能技术,深度强化学习现在显示出了有希望的结果。
关于人工智能在商业和经济中的使用,通常会提出三个主要问题:
- 首先是由于采用自动化分析系统而导致的失业;
- 第二是理解通用人工智能方法的困难;
- 第三是发达国家和发展中国家之间日益扩大的贫富差距。
有趣的是,前两个论点实际上与数字医疗和卫生系统完全相同。人工智能治理必须进行适当的设计,以解决后一个问题。
2)城市治理
根据最近的研究,城市治理是为了制定新的战略和方法,使城市变得更智能。智能城市包括智能城市治理,旨在利用尖端的IT同步数据、程序、权限和物理结构,造福当地人。Meijer和Bolvar在深入研究文献的基础上,建立了四个智慧城市治理的典范概念:智慧决策、智慧城市治理、智慧行政和智慧城市合作。
图片
数字社会的组成部分
我们目前正迎来人类发展的第四波浪潮,正处于从信息社会向智能社会的人文物理信息集成的关键过渡期。在这一转变中,计算技术正在经历变革,甚至是颠覆性的变革。智能计算被认为是未来计算的方向,不仅是面向智能的计算,也是智能化的计算。
与传统计算理论相比,智能计算是语言和生物驱动计算范式的应用和发展。这意味着机器可以根据不同的场景模仿人类大脑解决问题和决策的能力。然而,硅基和碳基操作的基本逻辑存在根本差异,大脑智能的机制仍需进一步揭示。
智能计算的下一步是通过在宏观层面深入探索类人智能的基本要素及其相互作用机制,以及在微观层面支撑不确定性产生的计算理论,进行彻底的理论改革。
基于计算理论的图灵计算是泛函的。建立在图灵计算基础上的经典计算产生确定性结果。然而,智力的创造力是建立在不确定性之上的:接受相同的背景知识,不同的人会对同一个问题有不同的想法;即使面对同样的问题,同一个人在其他时间和情况下也会做出各种选择和判断。这种不确定性就是为什么人类智能能够不断产生新的数据、知识和工具的原因:随机性和模糊性是主观世界和客观世界中不确定性的两种主要形式。
目前,机器智能的探索建立在经典计算理论的基础上,试图通过人工预设的符号系统和算法模型来抽象自然世界,实现随机性和模糊性的近似。人类大脑的智能源于蛋白质、粒子通道、化学信号和电信号等化学现象的出现。
神经形态网络模拟大脑中神经元的结构和功能,但不能模拟智力产生的过程。量子计算可能是最有前途的方向之一:量子力学揭示了构成世界的基本粒子的不确定性。这种不确定性可能推动人类意识的产生和发展,也可能是构建高水平机器智能的理论基础。
为了让计算机像人类一样学习,科学家们采用了两种方法:由专家系统提出的符号人工智能和由深度神经网络指定的连接主义。这两种方法在一定程度上可以很好地解决智能计算问题。问题的关键仍然需要先验知识输入,如预先定义的物理符号系统、神经网络模型、行为规则等。
智能计算的理论技术架构是一个复杂的系统,有多个子系统与其他学科相互作用。系统中的各种硬件需要更复杂的系统设计、更好的优化技术和许多系统调整成本。高维计算理论缺乏复杂性是大型计算系统面临的主要挑战。未来,必须突破冯·诺依曼体系结构下的固定输入和处理范式,大力发展跨学科的智能计算和仿生学。
原文链接:
Intelligent Computing: The Latest Advances, Challenges, and Future | Intelligent Computing (science.org)