“AI教父”辛顿:从辍学惯犯到诺贝尔物理学奖得主

北京时间10月8日,2024年诺贝尔物理学奖揭晓,约翰·霍普菲尔德(John J. Hopfield)与杰弗里·辛顿(Geoffrey E. Hinton)因“使用物理学训练人工智能神经网络”获奖。值得注意的是,霍普菲尔德是正统的物理学家出身,但辛顿的学术经历并不包括物理学,而是聚焦人工智能领域。

辛顿的学术成就令人瞩目,他不仅证明了反向传播算法的有效性,还发明了玻尔兹曼机,并改进了卷积神经网络。这些成就构成了当今AI技术发展和应用的基石。此外,辛顿的门生遍布人工智能界,包括前OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)、Meta首席科学家杨立昆(Yann LeCun)等等,这也让辛顿因此有了“AI教父”之称。

那么,辛顿自己的成长历程中有哪些传奇故事?他又是如何与人工智能结下不解之缘?以下是嘉宾商学的解读,Enjoy~

黄仁勋是不是AI教父?当然不是,他最多是个AI军火商。

真正的AI教父,是老黄的大贵人、CUDA价值的发现者,也是Open AI灵魂人物、前首席科学家苏茨克维(Ilya Sutskever)的恩师——杰弗里·辛顿教授。

他1986年就提出机器学习和大语言模型的基础理论,然后坐了30年冷板凳,如今AI之火早已燎原,他却退缩了,担心自己打开了潘多拉魔盒。

去年,他离开亲手打造的谷歌大脑,在他的感召下,今年苏茨克维也离开忘记初心的Open AI,成立新公司SSI,目标是把AI关进笼子。

辛顿教授已退出AI江湖,但他的影响力在江湖上无处不在。除了苏茨克维,Meta的AI负责人杨立昆(Yann LeCun),Element AI联合创始人约书亚·本吉奥(Yoshua Bengio),美国科学院、工程院、艺术与科学院三院院士迈克尔·乔丹(Michael I.Jordan),前百度首席科学家吴恩达(Andrew Ng)等等AI大神,都是他培养的。

AI教父的名号,只有他配得上。但你一定想不到,学术成就开挂一般的辛顿教授,曾经却是个辍学惯犯。

1

学术世家

辛顿教授的传奇,从他爷爷的姥爷布尔(George Boole,1815年-1864)就开始了,没错,就是布尔代数那个布尔,这个家族统治了逻辑学和数学两百年。

布尔出生在1815年,他在《剑桥数学杂志》发表的第一篇文章,是爱因斯坦的不变量理论的重要支撑;他的《逻辑的数学分析》,是当今计算机科学和信息技术的灵魂之源。

布尔的老婆叫Mary Everest Boole(1832-1916),也是个数学家,著有《代数之哲学与乐趣》。

他们有五个女儿:

老小Ethel(1864-1960)是世界名著《牛虻》的作者;

老四Lucy(1862-1905)是伦敦皇家自由医院的教授;

老三Alicia(1860-1940)是数学家,提出多面体(Polytope)这个概念;

老二Margaret(1858-1935)没搞学术,但把儿子杰弗里·泰勒(G.I.Taylor)培养成了数学家,他是二战时研发原子弹的核心成员;

老大Mary(1856-1908)嫁给了数学家兼科幻作家查理斯·辛顿(Charles Hinton,1853-1907),他们的儿子霍华德·辛顿(Howard Hinton,1912-1977)是一名昆虫学家,剑桥大学教授,杰弗里·辛顿就是霍华德的孩子。

这样的家族背景,出现一个AI教父,是不是并不让人意外?

但如果你穿越到辛顿小时候,你一定不会想到他能有今天的成就,他可是个辍学惯犯。

都说中国家长望子成龙,其实全世界都差不多,辛顿妈妈的鸡娃水平,比海淀家长还猛:辛顿1947年出生,还没上小学,他妈妈就说:孩砸,咱可是学术世家啊,看看你爸,看看你叔,看看你爷爷,看看你祖爷爷……就差让孩子背家谱了。最后她说:你以后要么做学者,要么做失败者。

辛顿后来回忆,他很早就意识到,自己不读到博士是不行的,因此一辈子都在压抑和沮丧中挣扎。

他在小学和中学阶段还算顺利,高中时有位智商爆表的同学对他说:“顿哥你知道不,咱的记忆不是都存脑瓜子里吗?它可不是说有那么一块地专门放记忆,它是整个脑瓜子里都有!”同学看辛顿满脸懵逼,接着说:“脑瓜子里用的是全息图,啥叫全息图呢,就是咔嚓砍掉一半,你还能拿到整张图”。

辛顿被这东北味和科学味十足的言论感染了,他为自己定下学术方向:研究大脑的工作机制和原理。

2

辍学惯犯

1966年,18岁的辛顿进入剑桥攻读物理和化学,可以说跟研究大脑没有半毛钱关系,只读了一个月就辍学了。别误会,不是因为偏离了心仪的研究方向,他后来回忆:那年我18岁,第一次离开家乡,身边一个姑娘都没有,我很郁闷。

回家呆了一年,他又重返校园,这次读的是建筑,不知道是不是因为建筑系姑娘更少,他只上了一天课,又转去读物理和生理。

辛顿没有生理学背景,学得相当费劲,但是据说到第三学期,教授会讲大脑是如何工作的,他对这个感兴趣。结果熬到第三学期,老师是这么讲的:大脑是怎么工作的呢?大脑里有神经元,有沿轴突和神经元传播的动作电位,好,下课!

相当于你问他汽车的行驶原理,他只说汽车有轮子和方向盘,根本就没解释。

这也不能怪教授,当时全世界的学术圈都没闹明白呢。

辛顿大失所望,又又又辍学了。

但他这个家世背景,也不可能家里蹲,没几天又回去了,这次选的是哲学,结果因为跟导师理念不合当堂吵架,还是读不下去。最后,他选了心理学,好歹混到了毕业。

1970年,杰弗里·辛顿终于以剑桥大学国王学院实验心理学“荣誉学士”的身份毕业了。

你上大学读个双学位都费劲,人家轻轻松松体验了5个专业,就是把老师折磨够呛。

辛顿后来回忆说:我可能有一种教育上的多动症,无法安静学习。

经历了九九八十一难,毕业后辛顿做了什么工作呢?木匠,没错,就是打门框做衣柜的那种木匠。

3

小木匠

1970年,辛顿终于从剑桥毕业了,但他没有成为华丽上班族,也没有扎根学术,而是继续叛逆。他想大隐隐于市,为了糊口,还做起木匠活。

当然,叛逆只是伪装,辛顿依然痴迷于大脑研究,每星期六上午,他都会去图书馆阅读研究神经网络的文献。

问题来了,既然想搞学术,为什么不去学校呢?

简单科普一下,自从1936年图灵提出图灵机的概念以来,先后出现三个AI流派:符号主义、联结主义和行为主义。行为主义在辛顿的故事中出现不多,就不说了。联结主义和符号主义有什么区别呢?简单说,联结主义认为应该先模拟人脑,让这个人造大脑去运算;符号主义认为直接逻辑演算就行了,模拟人脑是脱裤子放屁。而且当时也不具备模拟人脑的硬件条件,所以符号主义是主流。

但辛顿叛逆,坚定看好联结主义,逻辑演算短期看粗暴有效,但是未来要解决更复杂的问题,还得模拟人脑。既然学术的世界容不下我,那我就做木匠活。

直到1972年,已经干了2年木匠活的辛顿听人说,爱丁堡大学的希金斯(Christopher Higgins,1923-2004)教授研究神经网络呢!这可是位大牛,教出来两位诺奖得主。(化学家John Polanyi、物理学家Peter Higgs)辛顿赶紧重返校园,拜入师门。

结果事实证明,小木匠获取信息的能力还是太差了。他刚拜入师门,没想到浓眉大眼的希金斯也叛变了!

当时有一部名著叫《感知机》,指出了联结主义和神经网络存在的重大问题,AI界几乎都涌向符号主义,也包括希金斯。

他整天跟辛顿说:小顿呐,神经网络没前途,符号主义才是YYDS啊!

辛顿自然是叛逆到底,每周上课,他都要跟老师吵一顿,他还放出狠话,给我半年,我会证明符号主义只是表面嚣张,神经网络才是最牛的!

过了半年,他再把这句话重复一遍。就这么半年之后又半年,半年之后又半年,5年都过去了,到了博士毕业的日子,他还是没搞出来。

希金斯不愧是教育大家,尽管不看好神经网络,也不大喜欢这个叛逆的学生,但还是尽可能支持他的研究,并在他没有显著学术成就的情况下,授予了他“AI博士”学位。

4

非主流教授

毕业后,辛顿前往美国,一步步做到卡内基梅隆大学计算机科学系的副教授。

在美国学术圈,神经网络也是非主流。多数人都认为《感知机》已经给神经网络判死刑了,而辛顿认为,《感知机》只是提出问题,这是好事,我们把问题解决掉,神经网络就会浴火重生。

当时他也就三十郎当岁,又没什么拿得出手的成就,为什么就这么自信呢?答案还是叛逆。叛逆不是什么都要非主流,而是敢于质疑主流。

他回忆起小时候,他的父母是无神论者,却把他送去了宗教学校。除了他,周围小朋友都信上帝,所以他从小就习惯了跟别人不一样,他认为这是非常好的训练,让他明白了,每个人都可能是错的,你需要坚持自己的主张。

1986年,叛逆中年辛顿跟另外两位学术大牛联合发表一篇论文,叫《通过反向传播误差来学习》(Learning representations by back-propagating errors)。

这篇论文回击了学界一直以来对神经网络不能实用的质疑,还证明了多层神经网络可以用于机器自主学习。今天我们熟悉的AlphaGo、ChatGPT,都是基于多层神经网络理论开发的。

所以1986年辛顿的反向传播理论一出,学界就炸锅了,大呼原来我们冤枉了神经网络。结果转过年来,1987年美股暴跌引发全球资本寒冬,像AI这种过于前沿的产业,没人敢投了。更重要的是,模拟人脑需要海量数据,当时万维网都没诞生呢,上哪找数据去?手敲吗?

炸锅的理论,只换来哑炮般的现实。要怪,只能怪他太超前。

好在加拿大高级研究所(CIFAR)还愿意给点资助,再加上他还在多伦多大学教书,多少有点经费,搞点小规模的研究还是没问题的。

神经网络这个冷板凳,他一坐就是三十年。直到2012 年,计算机硬件的性能大幅提高,数据资源也随手可得,他的神经网络理论终于能大展拳脚了。他带着两个学生,用内置了CUDA的英伟达GPU做深度学习,拿下视觉识别比赛的第一名,曾经坐冷板凳的神经网络终于否极泰来。

2013年,在吴恩达牵头下,谷歌斥资4400万美元收购辛顿的DNN公司,辛顿正式加盟谷歌,一路做到副总裁,还在2018年拿下图灵奖。曾经追随他的学生也步步高升,逐渐占领Open AI、Facebook、Uber等等科技大厂。

2022年,ChatGPT横扫世界,神经网络全球瞩目,烈火烹油。但是为人类带来AI火种的辛顿,却退缩了。2023年4月,辛顿教授离开谷歌,理由是想尽情地喷AI,为世人警示风险。

5

激流勇退

AI到底会不会毁灭人类?最有发言权的AI教父杰弗里·辛顿说,肯定会。

AI如果产生了意识会有多可怕呢?辛顿举了个例子:你让AI想办法为控制气候变化做点什么,他很可能直接把你干掉,因为他知道人类是气候恶化的罪魁祸首。

有人说防止AI失控很简单,拔电源呗!但是比人类更聪明的AI也可以说服你,不要去拔。

辛顿还说,不要以为人类创造了AI,就一定能占据主动权。假设青蛙创造了人类,那么现在人类和青蛙,谁会占主动权呢?

当然,这些担心是一直都存在的,真正让他决心辞职的,是大厂间的AI军备竞赛。比如原本谷歌对AI比较克制,但是微软投资OpenAI后,把GPT植入必应搜索,跟谷歌抢市场,谷歌只能被迫应战,以牙还牙。这样下去,AI必然失控。

其实回头看,除了这次离开谷歌,辛顿1987年离开卡内基梅隆大学,跑去加拿大的多伦多大学任教,也是不想拿军方的经费做研发。

把AI关进笼子,是辛顿一以贯之的原则。

离开谷歌后,辛顿去了一家叫瓦尤机器人(Vayu Robotics)的初创公司做顾问。

以他的段位,想去特斯拉、Meta、苹果等任何大厂,CEO都得亲自敬酒,为什么他却选了一家名不见经传的小公司呢?

因为瓦尤做的AI道德风险更低,而且现任CTO (Nitish Srivastava)是他的学生,知根知底。

在辛顿加入前,瓦尤刚完成1270万美元的种子轮融资,已经开发出了一款纯AI视觉方案的送货机器人。

看上去未来可期,但是要跟OpenAI这种巨无霸对抗,还是有点天方夜谭。

那辛顿教授把AI关进笼子的梦想还能实现吗?

6

新一代生力军

别光盯着辛顿自己,别忘了,他早已桃李满天下,他的安全AI理念也早已影响了大批青年才俊。

比如他的得意门生、前OpenAI首席科学家苏茨克维,6月刚刚创业成立SSI,Safe Superintelligence,非常直白,就叫安全的超级智能。

很明显,这是挤对OpenAI呢。去年那场震惊世界的宫斗大戏失败后,由苏茨克维主导的负责安全的实验室就被解散了,OpenAI彻底成为AI商业派的代表。

苏茨克维复仇还得一会儿,比他更早离开OpenAI的阿莫迪兄妹已经扣动扳机了。

早在2021年,ChatGPT还没问世呢,OpenAI的研究副总裁和安全政策副总裁阿莫迪兄妹(Dario Amodei、Daniela Anodei)就撤了,理由同样是觉得OpenAI价值观有问题。

他们还带走5名技术大牛,一起创办了Anthropic,同样强调安全,目标是构建一套可靠、可解释、可控的“以人类利益为中心”的AI系统,可以看作AI安全派的代表。

Anthropic成立至今不过3年,估值已超过180亿美元,光去年1年就拿下73亿美元融资。今年3月,亚马逊又投了27.5亿美元,这是亚马逊30多年里最大的一笔投资。

Anthropic钱拿得多,事也办得漂亮。成立第二年就发布大模型Claude,上个月已经更新到了Claude 3.5 Sonnet,据称性能全面超越OpenAI的GPT-4o。

照这个趋势,安全派和商业派,谁输谁赢还真不好说。

辛顿教授今年77了,他大可以解甲归田,享受天伦之乐,让徒子徒孙们争去。但是面对亲手养大的怪兽,他又不得不绷紧神经,小心提防。不是为自己,而是为人类。

就像爱因斯坦,他一生最后悔的事,就是当初给罗斯福写信,建议造原子弹。锻造宝刀是成就,而宝刀落到疯子手里,你就成了罪人。也许这就是科学家的宿命吧。

出品 | 嘉宾商学