解读2024年诺贝尔物理学奖:人工神经网络如何帮助机器学习?

全文7297字,阅读约需21分钟,帮我划重点

划重点

012024年诺贝尔物理学奖授予John J. Hopfield和Geoffrey E. Hinton,以表彰他们基于人工神经网络实现机器学习的基础性发现和发明。

02Hopfield发明了一种联想记忆网络,能够存储和重构图像及其他类型的数据信息;而Hinton则发明了一种玻尔兹曼机,可以学习识别特定类型数据中的特征元素。

03他们的研究成果为当今使用的大型人工神经网络奠定了基础,使得机器可以模仿记忆和学习等功能。

04除此之外,物理学为机器学习的发展提供了工具,例如描述材料特性的物理学工具,使机器能够识别属于训练材料中某个类别的全新示例。

以上内容由腾讯混元大模型生成,仅供参考

图片


北京时间10月3日下午5点45分许,瑞典皇家科学院决定将2024年的诺贝尔物理学奖授予John J. Hopfield(约翰·霍普菲尔德)Geoffrey E. Hinton(杰弗里·辛顿),以表彰他们基于人工神经网络实现机器学习的基础性发现和发明


图片


获奖理由:

表彰他们基于人工神经网络实现机器学习的基础性发现和发明。


for foundational discoveries and inventions that enable machine learning with artificial neural networks


二位获奖者分别是来自普林斯顿大学的John J. Hopfield,以及来自多伦多大学的Geoffrey E. Hinton。

他们利用物理学训练人工神经网络

今年的两位诺贝尔物理学奖得主使用物理学工具开发了今天强大的机器学习方法的基础。约翰·霍普菲尔德创造了一种联想记忆网络,能够存储和重构图像及其他类型的数据信息。杰弗里·辛顿则发明了一种方法,可以自主发现数据中的属性,从而执行诸如识别图像中特定元素的任务。

当我们谈论人工智能时,通常指的是使用人工神经网络的机器学习。这项技术最初受到了大脑结构的启发。在人工神经网络中,大脑的神经元被表示为具有不同值的节点,这些节点通过类似于突触的连接相互影响,并且这些连接可以变强或变弱。通过例如在值较高的节点之间增强连接,网络得到训练。今年的获奖者自20世纪80年代以来在人工神经网络方面进行了重要研究。

约翰·霍普菲尔德发明了一种使用保存和重构模式的方法的网络。我们可以将这些节点想象为像素。霍普菲尔德网络利用物理学中描述材料特性的工具——例如原子自旋特性,使每个原子成为微小的磁铁。整个网络的描述与物理学中自旋系统的能量等效,并通过为节点之间的连接找到合适的值来训练网络,以便保存的图像具有较低的能量。当霍普菲尔德网络输入一个扭曲或不完整的图像时,它会逐步更新节点的值,使网络能量下降,从而一步步找到最接近输入图像的保存图像。

杰弗里·辛顿基于霍普菲尔德网络创建了一种使用不同方法的新网络:玻尔兹曼机。这种网络可以学习识别特定类型数据中的特征元素。辛顿使用了来自统计物理学的工具,这是一门研究由许多相似组件组成的系统的科学。玻尔兹曼机通过输入非常可能在运行中出现的样本进行训练。它可以用于图像分类或生成训练时的模式类型的新实例。辛顿基于这项工作,推动了当前机器学习的爆炸式发展。

“获奖者的工作已经带来了巨大的益处。在物理学中,我们在广泛的领域使用人工神经网络,例如开发具有特定性质的新材料。”诺贝尔物理学奖评审委员会主席艾伦·穆恩斯表示。


图片

约翰·约瑟夫·霍普菲尔德( John Joseph Hopfield,1933 年7 月 15 日出生于芝加哥)是一位美国物理学家,活跃于生物物理学和统计物理学领域。他最出名的是创建了一种现在称为霍普菲尔德网络的神经网络,并与雅克·尼尼奥同时引入了分子生物学校对的概念。

图片

杰弗里·辛顿(Geoffrey Everest Hinton,1947 年12 月 6 日出生)是一位英裔加拿大籍心理学家和计算机科学家。他因其对机器学习发展的贡献而闻名,被认为是深度学习发展中最有影响力的研究人员之一。他是多伦多大学教授、谷歌大脑研究员,2017年在多伦多创立了Vector人工智能研究所,并担任主要公益科学顾问。

Geoffrey Hinton 是英国皇家学会会士,也是美国国家工程学院和美国艺术与科学学院的外籍会员。他一生获得过诸多奖项,包括大卫・鲁梅尔哈特奖、 IJCAI 卓越研究奖、 基廉工程奖(有「加拿大诺贝尔奖」之称的国家最高科学奖)、 IEEE Frank Rosenblatt 奖、 NSERC Herzberg 金奖、 IEEE 詹姆斯・克拉克・麦克斯韦金奖、 NEC C&C 奖、本田奖和图灵奖。

图片


他们利用物理学发现信息中的模式

今年的获奖者使用物理学工具构建了方法,为今天强大的机器学习奠定了基础。约翰·霍普菲尔德创造了一种能够存储和重构信息的结构,杰弗里·辛顿发明了一种可以独立发现数据中属性的方法,这在当今使用的大型人工神经网络中变得非常重要。

图片

许多人已经体验过计算机如何在不同语言之间进行翻译、解读图像,甚至进行合理的对话。或许不太为人所知的是,这类技术长期以来对研究领域至关重要,包括对海量数据的排序和分析。在过去15至20年中,机器学习的发展呈现爆炸式增长,利用了一种称为人工神经网络的结构。如今,当我们谈论人工智能时,通常指的就是这种技术。

尽管计算机不能真正思考,但机器现在可以模仿记忆和学习等功能。今年的物理学奖得主帮助实现了这一可能。他们使用物理学中的基本概念和方法,开发出通过网络结构处理信息的技术。

机器学习与传统软件不同,后者像是一种“配方”。软件接收到数据后,根据明确的说明进行处理并产生结果,就像有人收集配料并按照食谱进行处理,最终做出蛋糕。而机器学习则是通过示例进行学习,使计算机能够解决那些模糊且复杂,无法用逐步指令处理的问题。例如,通过解释图片来识别其中的物体。

模拟大脑

人工神经网络通过整个网络结构处理信息。这一灵感最初源自人们对大脑工作机制的探索。20世纪40年代,研究人员开始思考支撑大脑神经元和突触网络的数学原理。心理学也为这一研究提供了线索,神经科学家唐纳德·赫布(Donald Hebb)提出了学习如何发生的假设:当神经元一起工作时,它们之间的连接会得到强化。

后来,科学家们尝试通过计算机模拟人工神经网络来重现大脑的网络功能。在这些网络中,大脑的神经元被节点所模拟,这些节点被赋予不同的值,而突触则通过节点之间的连接表示,这些连接可以变强或变弱。唐纳德·赫布的假设至今仍作为更新人工网络的基本规则之一,这一过程被称为训练。

图片

然而,在20世纪60年代末,一些令人沮丧的理论结果使得许多研究人员怀疑神经网络是否真的有实际用途。然而,到了20世纪80年代,人工神经网络的兴趣重新被唤醒,几项重要的理念产生了深远影响,其中包括今年获奖者的工作。

联想记忆

想象一下,你在试图回忆一个你很少使用的词汇,比如电影院和演讲厅中常见的倾斜地面。你在记忆中搜寻着,它似乎像是"ramp"……或许是"rad"……什么?不对,应该是"rake"!没错,就是它!

这种通过搜索相似词语找到正确词汇的过程,类似于物理学家约翰·霍普菲尔德在1982年发现的联想记忆。霍普菲尔德网络能够存储模式,并有一种重现这些模式的方法。当网络接收到一个不完整或稍有失真的模式时,这种方法能够找到最相似的存储模式。

霍普菲尔德此前利用他的物理学背景探索分子生物学中的理论问题。当他被邀请参加一个关于神经科学的会议时,他接触到了有关大脑结构的研究,这让他深感兴趣,开始思考简单神经网络的动态。当神经元协同工作时,它们能够产生新的强大特性,而这些特性在单独观察网络的个别组件时是无法察觉的。

1980年,霍普菲尔德离开了他在普林斯顿大学的职位。当时,他的研究兴趣已经超出了同事们在物理学领域的工作范畴,于是他跨越大陆,接受了加州理工学院(加州帕萨迪纳)化学和生物学教授的职位。在那里,他可以使用计算机资源自由进行实验,发展他的神经网络理论。

不过,他并没有放弃他在物理学中的基础,这为他理解由众多小成分协同作用产生新现象提供了启发。他特别受益于磁性材料的研究,这些材料由于原子的自旋特性(每个原子都是一个微小的磁体)而具有特殊的性质。相邻原子的自旋会相互影响,从而形成自旋方向一致的区域。通过利用描述自旋相互作用时材料发展的物理学,他构建了一个由节点和连接组成的模型网络。

网络在能量地形中存储图像

霍普菲尔德构建的网络由节点组成,这些节点通过强度不同的连接相互关联。每个节点可以存储一个独立的值——在霍普菲尔德的最初工作中,这个值可以是0或1,类似于黑白图片中的像素。

霍普菲尔德用一个类似于物理学中自旋系统能量的属性来描述网络的整体状态;能量通过一个公式计算,该公式结合了所有节点的值以及节点间连接的强度。网络的训练过程是通过将一个图像输入到节点中,节点分别赋予黑色(0)或白色(1)的值。然后,网络的连接根据能量公式进行调整,使存储的图像能量最低。

当另一个图案输入到网络中时,有一条规则可以逐个检查节点,判断如果改变该节点的值,网络的能量是否会降低。如果发现将一个黑色像素变为白色可以降低能量,那么该像素就会改变颜色。这个过程会持续进行,直到无法找到进一步改进的方法为止。当这个点到达时,网络通常会重现它曾经训练过的原始图像。

如果只是存储一个图案,这可能看起来并不特别引人注目。也许你会想,为什么不直接保存图像本身,然后与另一个待测试的图像进行比较呢?霍普菲尔德的方法独特之处在于它可以同时存储多个图像,网络通常能够区分这些图像。

霍普菲尔德将搜索网络中的存储状态比作在有摩擦的山谷和山峰地形中滚动一个球。如果球从某个位置释放,它会滚入最近的山谷并停在那里。同样,当网络输入一个接近已存储模式的图案时,它会继续前进,直到在能量地形中找到一个山谷底部,从而找到网络记忆中最接近的图案。

霍普菲尔德网络可以用于重现含有噪声或部分丢失的数据。

图片

霍普菲尔德和其他人继续完善霍普菲尔德网络的功能,包括让节点能够存储任意值,而不仅仅是零或一。如果你将节点视为图片中的像素,它们可以有不同的颜色,而不仅仅是黑白。改进的方法使得可以保存更多图片,并且即使这些图片非常相似,网络也能区分它们。只要信息是由多个数据点构建的,网络就可以识别或重建任何信息。

利用19世纪物理学进行分类

记住一幅图像是一回事,但解释它所描述的内容则需要更多技巧。即使是非常年幼的孩子,也能指出不同的动物,并自信地说出它们是狗、猫还是松鼠。他们偶尔会出错,但很快就会几乎每次都正确。孩子无需看到任何图表或关于物种、哺乳动物等概念的解释,仅仅通过遇到几种不同的动物,就能在脑海中形成不同的类别。

当霍普菲尔德发表他关于联想记忆的文章时,杰弗里·辛顿(Geoffrey Hinton)在美国匹兹堡的卡内基梅隆大学工作。他此前在英国和苏格兰研究过实验心理学和人工智能,思考机器是否可以像人类一样学习处理模式,通过自己分类和解释信息。与同事特伦斯·塞诺夫斯基(Terrence Sejnowski)一起,辛顿从霍普菲尔德网络出发,结合统计物理的思想,构建了新的东西。

统计物理描述了由许多相似元素组成的系统,比如气体中的分子。虽然难以跟踪气体中每个分子的运动,但可以通过整体来看其属性,例如压力或温度。分子可以以多种方式分布并产生相同的集体属性。

使用统计物理学的方程可以分析这些状态的概率,有些状态比其他状态更可能发生,这取决于可用的能量。19世纪物理学家路德维希·玻尔兹曼(Ludwig Boltzmann)用方程描述了这种关系。辛顿的网络利用了这一方程,并在1985年以“玻尔兹曼机”这一引人注目的名称发表了研究成果。

识别相同类型的新示例

玻尔兹曼机通常使用两种不同类型的节点。一组节点称为可见节点,用于输入信息。另一组节点则形成了一个隐藏层。隐藏节点的值和它们之间的连接也会影响整个网络的能量。

通过逐一更新节点值的规则来运行玻尔兹曼机。最终,机器会进入一种状态,在这种状态下,节点的模式可能会发生变化,但网络整体的特性保持不变。每种可能的模式将会根据玻尔兹曼方程由网络的能量决定特定的概率。当机器停止时,它已经生成了一个新模式,这使得玻尔兹曼机成为早期生成模型的一个示例。

玻尔兹曼机的学习能力

图片

玻尔兹曼机并不是通过指令学习,而是通过提供示例来学习。它的训练过程包括更新网络中连接的值,使得在训练时输入到可见节点的示例模式在机器运行时具有最高的发生概率。如果在训练过程中某个模式重复多次,该模式的概率会进一步提高。训练还会影响输出新模式的概率,这些新模式与机器训练的示例相似。

训练好的玻尔兹曼机可以识别其从未见过的信息中熟悉的特征。想象一下,遇到朋友的兄弟姐妹时,你可以立即看出他们之间的关系。同样地,玻尔兹曼机能够识别属于训练材料中某个类别的全新示例,并将其与不相似的材料区分开来。

原始形式的玻尔兹曼机效率较低,找到解决方案的时间较长。当它经过多种方式的改进后,情况变得更加有趣,Hinton一直在探索这些改进。后来版本的网络简化了某些节点间的连接,事实证明,这样可以提高机器的效率。

在1990年代,许多研究人员对人工神经网络失去了兴趣,但Hinton是那些坚持在该领域工作的科学家之一。他还帮助引发了人工智能的新一轮发展热潮;2006年,他与同事Simon Osindero、Yee Whye Teh和Ruslan Salakhutdinov开发了一种方法,通过在网络中逐层预训练一系列玻尔兹曼机,优化了神经网络的训练起点,从而提高了识别图像中元素的能力。

玻尔兹曼机通常作为更大网络的一部分使用。例如,它可以根据观众的偏好推荐电影或电视节目。

机器学习——现在与未来

得益于John Hopfield和Geoffrey Hinton自1980年代以来的工作,他们为2010年左右开始的机器学习革命奠定了基础。我们现在所见的发展得益于大量可用于训练网络的数据以及计算能力的巨大提升。

如今的人工神经网络通常非常庞大,由多层构成,这些被称为深度神经网络,其训练方式称为深度学习。回顾Hopfield在1982年发表的关于联想记忆的文章,可以从中看出发展的进程。当时,他使用了一个包含30个节点的网络。如果所有节点都相互连接,共有435个连接。节点有自己的值,连接有不同的强度,总共需要处理不到500个参数。他还尝试了一个有100个节点的网络,但由于当时的计算机限制,这个网络过于复杂。与此相比,今天的大型语言模型由包含超过一万亿(即一百万的百万)参数的网络构成。

目前,许多研究人员正在开发机器学习的应用领域。哪些应用将具有最广泛的前景还有待观察,围绕这项技术的发展和使用的伦理问题也引发了广泛讨论。

物理学为机器学习的发展提供了工具,值得注意的是,作为一个研究领域,物理学本身也在从人工神经网络中受益。机器学习长期以来被应用于我们熟悉的物理领域,例如筛选并处理大量数据以发现希格斯粒子。此外,机器学习还用于减少测量来自黑洞碰撞产生的引力波时的噪音,或是用于寻找系外行星。

近年来,机器学习技术也开始被用于计算和预测分子和材料的特性,例如计算蛋白质分子的结构以确定其功能,或找出哪些新材料版本可能具有更优的性能,从而用于提高太阳能电池的效率。


过去9年诺贝尔物理学奖得主名单

  • 2023年——美国科学家Pierre Agostini、德国科学家Ferenc Krausz和法国/瑞典科学家Anne L’Huillier开发了产生阿秒光脉冲的实验方法,用于研究物质中的电子动力学获奖。


  • 2022年—— 法美奥三位科学家因“用纠缠光子进行实验,确立了对贝尔不等式的不成立,开创量子信息科学”获奖。他们分别是法国科学家阿兰·阿斯佩(Alain Aspect),美国科学家约翰·弗朗西斯·克劳泽(John F. Clauser)和奥地利科学家安东·塞林格(Anton Zeilinger)。


  • 2021年——美德意三位科学家因“对人们理解复杂物理系统的开创性贡献”而获奖。美籍日裔科学家Syukuro Manabe、德国科学家Klaus Hasselmann的获奖理由是“物理模拟地球气候,量化变化和可靠地预测全球变暖”;意大利科学家Giorgio Parisi的获奖理由是“发现从原子到行星尺度的物理系统的无序和波动的相互作用”。


  • 2020年——英国科学家Roger Penrose获奖,获奖理由是“发现黑洞形成是广义相对论的一个有力预测”;另外两位获奖者是德国和美国科学家Reinhard Genzel、Andrea Ghez,获奖理由是“在银河系中心发现了一个超大质量的致密天体”。


  • 2019年——美国科学家James Peebles获奖,获奖理由是“在物理宇宙学的理论发现”;另外两位获奖者是瑞士科学家Michel Mayor和Didier Queloz,获奖理由是“发现了一颗围绕类太阳恒星运行的系外行星”。


  • 2018年——美法加三位科学家Arthur Ashkin、Gerard Mourou和Donna Strickland获奖,获奖理由是“在激光物理学领域所作出的开创性发明”。


  • 2017年——三位美国科学家Rainer Weiss、Barry C. Barish和Kip S. Thorne获奖,获奖理由是“对LIGO探测器和引力波观测的决定性贡献”。


  • 2016年——英美三位科学家David J. Thouless、F. Duncan M. Haldane、J. Michael Kosterlitz获奖,获奖理由是“理论发现拓扑相变和拓扑相物质”。


  • 2015年——日本科学家Takaaki Kajita和加拿大科学家Arthur B. McDonald获奖,获奖理由是“发现了中微子振荡,表明中微子具有质量”。



诺贝尔物理学奖小知识

  • 截至2023年,诺贝尔物理学奖共颁发了117次,没有颁发的六年分别是1916、1931、1934、1940、1941和1942年。

  • 从1901年至2023年,共225人次获奖,实际获奖个人为224人,因为美国物理学家John Bardeen于1956年和1972年两次获奖。

  • 117次颁奖中,47次为单独获奖者,32次为2人共享,38次为3人共享。

  • 最年轻的获奖者是英国物理学家Lawrence Bragg,1915年因“用X射线对晶体结构的分析所作的贡献”与父亲一起获奖,时年25岁。

  • 最年长的获奖者是美国物理学家Arthur Ashkin,2018年因“在激光物理学领域所作出的开创性发明”获奖,时年96岁。

  • 224位诺贝尔物理学奖得主中,有5位女性。分别是1903年的居里夫人(居里夫人另外还获得1911年的化学奖)、1963年的Maria Goeppert-Mayer、2018年的Donna Strickland、2020年的Andrea Ghez和2023年的Anne L’Huillier。


  • 诺奖史上的“家庭”诺奖

  • 夫妇:Marie Curie和Pierre Curie夫妇获得1903年的诺贝尔物理学奖;

  • 父子:William Bragg和Lawrence Bragg父子获得1915年的诺贝尔物理学奖;Niels Bohr获得1922年诺贝尔物理学奖,其子Aage N. Bohr获得1975年诺贝尔物理学奖;Manne Siegbahn获得1924年诺贝尔物理学奖,其子Kai M. Siegbahn获得1981年诺贝尔物理学奖;J. J. Thomson获得1906年诺贝尔物理学奖,其子George Paget Thomson获得1937年诺贝尔物理学奖。


获诺贝尔物理学奖的华人科学家
在诺贝尔奖历史上,诺贝尔物理学奖是华人获奖最多的领域,共有6位华人科学家获奖。
1956年,31岁的美籍华人李政道和35岁的杨振宁提出“李-杨假说”,并于1957年同时获得诺贝尔物理学奖。

图片
李政道与杨振宁

1976年,美籍华人科学家丁肇中因发现J粒子获得诺贝尔物理学奖。
1997年,美籍华人朱棣文因“发明了用激光冷却和俘获原子的方法”荣获诺贝尔物理学奖。
1998年,美籍华人崔琦因解释了电子量子流体这一特殊现象,获得诺贝尔物理奖。
2009年,英国华人科学家高锟因在“有关光在纤维中的传输以用于光学通信方面”作出突破性成就,获得诺贝尔物理学奖。

本文综合来源:

诺贝尔官网、ChatGPT、未来论坛及网络