当前位置: 华文世界 > 科技

2024年诺贝尔物理学奖得主辛顿:从学术困境到AI传奇

2024-10-09科技
瑞典皇家科学院当地时间10月8日宣布,将2024年诺贝尔物理学奖授予约翰·J·霍普菲尔德(John J. Hopfield)和杰弗里·E·辛顿(Geoffrey E. Hinton),表彰他们在使用人工神经网络进行机器学习的基础性发现和发明。
1947年,辛顿出生在英国伦敦。20世纪70年代初,辛顿在英国爱丁堡大学读研究生时开始研究神经网络。【纽约时报】指出,当时几乎没有多少研究人员相信这个想法。
1978年,辛顿获得爱丁堡大学博士学位,如今他在加拿大多伦多大学担任教授。
2019年,辛顿与蒙特利尔大学计算机科学教授约舒亚·本希奥 以及纽约大学教授杨立昆 一起获得了被称为「计算机界的诺贝尔奖」——图灵奖,以表彰他们在人工智能深度学习方面的工作。
这三位科学家被并称为「深度学习三巨头 」,辛顿也被外界称为当代人工智能的「教父」。
【连线】杂志和【纽约时报】的知名记者凯德·梅茨在【深度学习革命】 一书中,回顾了深度学习革命及其背后的企业家、科学家如何穿越人工智能的寒冬,将深度学习带给全世界。杰弗里·辛顿无疑是其中最重要的人物之一。
【深度学习革命】
他因腰椎间盘问题多年未坐下,在多伦多大学用站立式办公桌 。2012 年,他和学生打造的神经网络取得突破,改变了机器看待世界的方式。随后他在学生游说下创立 DNNresearch 公司,中国公司出价收购,引发百度、谷歌等 4 家公司竞拍。
竞拍在太浩湖的哈拉斯赌场酒店进行,最终谷歌以 4400 万美元收购。辛顿选择谷歌是为研究找到合适归宿。他的故事反映了神经网络技术的发展历程以及在科技行业引发的 「全球军备竞赛」。
以下就是【深度学习革命】一书中的精彩故事。
01
当杰弗里·辛顿在多伦多市区登上开往太浩湖的公共汽车时,他已经有7年时间没有坐下来过了。 他经常说:「我上一次坐下来是在2005年,那是一个错误。」十几岁时,他在给母亲搬取暖器的时候第一次受了伤。到了50多岁,他如果要坐下来,就要冒着腰椎间盘滑脱的风险,而一旦腰椎间盘滑脱了,疼痛会使他卧床数周。 所以,他不再坐下。
他在多伦多大学的办公室里用的是一张站立式办公桌。吃饭的时候,他就跪在桌旁的一个小泡沫垫板上,泰然自若,像一位祭坛旁的僧人。乘坐汽车的时候,他会躺在后座上。如果是长途旅行,他就乘火车。 他不能乘飞机,至少不能搭乘商业航空公司的飞机,因为这些飞机在起飞和降落时要求乘客保持坐姿。 他说:「我每天都很煎熬,情况发展到了可能会瘫痪的地步,所以我很认真地对待这件事。」 那年秋天,他躺在公共汽车的后座上奔赴纽约,再乘火车一路前往位于加利福尼亚州特拉基的内华达山脉顶峰,然后在出租车的后座上伸直双腿,30分钟后,他抵达了太浩湖。之后,他创立了一家新公司。 公司的创始人还包括另外两个人,他们是在他大学实验室里做研究的年轻研究生。这家公司不生产任何产品,也没有生产产品的计划。公司的网站上只提供了一个名字——DNNresearch ,这个名字比这个网站还缺乏吸引力。 当时64岁的辛顿在学术界看来很自在,他留着一头乱蓬蓬的白发,穿着羊毛衫,有幽默感,在这两名学生的游说之下,他才决定创立这家公司。 但当他抵达太浩湖时,中国最大的科技公司之一已经出价1200万美元,要收购他刚刚起步的公司,另外三家公司也很快加入竞拍,其中包括两家美国最大的科技公司。 辛顿去了哈拉斯和哈维斯,这两家高耸的赌场酒店位于太浩湖南边的滑雪山脚下。 2012年12月,那里举办了一场名为NIPS的计算机科学家年度聚会。NIPS的全称是「神经信息处理系统」,尽管从名称上看是要深入研究计算机的未来,但NIPS其实是一个专注于人工智能的会议。 但这次不同。虽然那家中国公司已经锁定了对DNNresearch的兴趣,但他知道其他人也感兴趣,NIPS似乎是一个理想的拍卖场所。
02
两个月之前,辛顿和他的学生改变了机器看待世界的方式。他们已经打造了所谓的「神经网络 」,即一个模仿大脑神经元网络的数学系统,它能够以前所未有的准确度识别常见的物体,比如花朵、小狗和汽车。 辛顿和他的学生展示出,神经网络可以通过分析大量的数据来学习这种非常人性化的技能。他称之为「深度学习」,其潜力巨大。这项技术不仅会改变计算机视觉,还会改变一切,从可对话式数字助理到自动驾驶汽车,再到新药研发。 神经网络的概念可以追溯到20世纪50年代,但是早期的开拓者从未让这项技术像他们希望的那样工作。
到了21世纪,大多数研究人员都放弃了这项技术,认为这是一条技术上的死胡同,并对研究人员在过去50年间试图让数学系统以某种方式模仿人类大脑的自负探索感到困惑。 当那些仍然在探索这项技术的研究员向学术期刊提交论文时,他们通常会将研究伪装成其他东西,用不太会冒犯其他科学家同行的语言来代替神经网络这个词。但是,仍然有少数人相信这项技术终有兑现预期的那一天,辛顿就是其中之一。 他设计的机器不仅能识别物体,还能识别口语词汇、理解自然语言并进行对话,甚至可能解决人类自己无法解决的问题,为探索生物学、医学、地质学和其他科学的奥秘提供了创新的、更精确的方法。
03
在自己的科研成果发表后不久,辛顿收到了一封电子邮件,来自一位名叫余凯 的人工智能研究员,他当时在中国科技巨头百度公司工作。 表面上看,辛顿和余凯没有什么共同之处。 辛顿出生于战后英国的一个著名的科学家家庭,这一家人的影响力与自身的怪癖相得益彰。辛顿曾在剑桥大学学习,在爱丁堡大学获得人工智能博士学位,并在接下来的30年里担任计算机科学教授。 余凯出生的时间比辛顿晚30年,他在中国长大,父亲是一名汽车工程师,余凯先后在中国南京和德国慕尼黑读书,然后去了美国硅谷的一家企业研究实验室工作。 这两个人的阶级、年龄、文化、语言和地域各不相同,但他们拥有一个共同的兴趣:神经网络。他们最早是在加拿大的一场学术研讨会上认识的,旨在重振这个在科学界几乎处于休眠状态的研究领域,并将这一想法重新命名为「深度学习」。
余凯是参与传播这一信仰的人之一。回到中国之后,他把这个想法带到了百度,在那里,他的研究引起了公司首席执行官的注意。当辛顿这篇长达9页的论文在多伦多大学发表时,余凯告诉百度的智囊团,他们应该尽快招募辛顿。 在邮件中,他将辛顿介绍给了百度的一位副总裁,这位副总裁为辛顿短短几年的工作成果报价1200万美元。 起初,辛顿在北京的这家「追求者」认为双方已经达成了协议,但辛顿并不是那么确定。最近几个月,与他建立联系的还有其他几家公司,规模有大有小,其中包括百度的两个美国大型竞争对手。 这些公司也打电话到辛顿在多伦多大学的办公室,询问需要支付多大的代价才能招募他及他的学生。看到了更多的机会之后,他问百度,在接受其1200万美元的报价之前,他是否可以寻求其他的报价,百度同意了。 于是,他彻底扭转了形势。在学生的启发下,他意识到百度及其竞争对手更有可能花巨资收购一家公司,而不是花同样的钱从学术界招募几名新员工。 于是他创立了一家自己的小公司,命名为DNNresearch,以呼应他们专注研究的「深度神经网络」(Deep Neural Networks)。 他还咨询了多伦多的一名律师,关于如何让一家仅有三名员工、没有产品、几乎没有经营记录的初创公司的价格最大化。 在这位律师看来,他有两个选择:一是可以聘请一名专业的谈判代表,但这样做存在一定的风险,可能会激怒那些预期的潜在收购方;二是可以组织一场拍卖活动。辛顿选择了拍卖 。 最终,4家公司加入了对他的新公司的竞拍:百度、谷歌、微软和DeepMind 。当时,DeepMind是一家成立仅两年的世界上大多数人从未听说过的初创公司,它即将成为这个时代最著名且最有影响力的人工智能实验室。 辛顿在哈拉斯赌场酒店的房间里进行拍卖,这里可以俯瞰内华达州的松树和白雪皑皑的山峰。
拍卖规则很简单:每次拍卖开始之后,这4家公司有一个小时的时间将报价提高至少100万美元。这一个小时的倒计时以最新报价的电子邮件时间戳为准,一个小时之后,如果没有新的报价出现,当天的拍卖就结束。 DeepMind用公司股份报价,而不用现金,但它无法与科技领域的巨头们竞争,很快就退出了。百度、谷歌和微软留了下来。随着报价不断攀升,先是1500万美元,然后是2000万美元,微软也退出了,但后来又重新回来。 报价到2200万美元时,辛顿暂停了拍卖,他与其中一名竞拍者进行了讨论,半个小时之后,微软再次退出。现在,就剩下百度和谷歌了,随着时间的推移,两家公司的报价更高了。 最初是由余凯为百度报价,但当价格达到2400万美元时,一名百度的高管从北京接手了。 他们很快就意识到百度愿意出更高的价格:2500万美元、3000万美元、3500万美元。不可避免的是,下一次报价要到一个小时倒计时终止前的一两分钟才会出现,这使得原本接近尾声的拍卖再次被拉长。 价格攀升到如此之高,辛顿于是把报价的窗口时间从一个小时缩短到30分钟。报价迅速攀升至4000万美元、4100万美元、4200万美元、4300万美元。 最终,辛顿终止了拍卖,因为对他来说,为自己的研究找到合适的归宿比最终获得最高的价格更重要。 当他告诉谷歌的报价者他接受4400万美元的价格时,他们认为这是在开玩笑,因为他们觉得他不可能放弃仍然在不断攀升的报价。 但是,辛顿没有意识到他们的想法有多大的价值。没人知道。在这4家公司里散布着一小批科学家,辛顿及其学生们与他们一起,很快就将这个单一的想法推向了科技行业的中心。 在此过程中,他们突然戏剧性地加速了人工智能的进步,包括可对话式数字助理、自动驾驶汽车、机器人、自动化医疗健康,以及自动化战争和监控(尽管这二者从来不是他们的目的)。