當前位置: 華文世界 > 科技

2024年諾貝爾物理學獎得主辛頓:從學術困境到AI傳奇

2024-10-09科技
瑞典皇家科學院當地時間10月8日宣布,將2024年諾貝爾物理學獎授予約翰·J·霍普菲爾德(John J. Hopfield)和謝菲·E·辛頓(Geoffrey E. Hinton),表彰他們在使用人工神經網絡進行機器學習的基礎性發現和發明。
1947年,辛頓出生在英國倫敦。20世紀70年代初,辛頓在英國愛丁堡大學讀研究生時開始研究神經網絡。【紐約時報】指出,當時幾乎沒有多少研究人員相信這個想法。
1978年,辛頓獲得愛丁堡大學博士學位,如今他在加拿大多倫多大學擔任教授。
2019年,辛頓與蒙特利爾大學電腦科學教授約舒亞·本希奧 以及紐約大學教授楊立昆 一起獲得了被稱為「電腦界的諾貝爾獎」——圖靈獎,以表彰他們在人工智能深度學習方面的工作。
這三位科學家被並稱為「深度學習三巨頭 」,辛頓也被外界稱為當代人工智能的「教父」。
【連線】雜誌和【紐約時報】的知名記者凱德·梅茨在【深度學習革命】 一書中,回顧了深度學習革命及其背後的企業家、科學家如何穿越人工智能的寒冬,將深度學習帶給全世界。謝菲·辛頓無疑是其中最重要的人物之一。
【深度學習革命】
他因腰椎間盤問題多年未坐下,在多倫多大學用站立式辦公桌 。2012 年,他和學生打造的神經網絡取得突破,改變了機器看待世界的方式。隨後他在學生遊說下創立 DNNresearch 公司,中國公司出價收購,引發百度、谷歌等 4 家公司競拍。
競拍在太浩湖的哈拉斯賭場酒店進行,最終谷歌以 4400 萬美元收購。辛頓選擇谷歌是為研究找到合適歸宿。他的故事反映了神經網絡技術的發展歷程以及在科技行業引發的 「全球軍備競賽」。
以下就是【深度學習革命】一書中的精彩故事。
01
當謝菲·辛頓在多倫多市區登上開往太浩湖的公共汽車時,他已經有7年時間沒有坐下來過了。 他經常說:「我上一次坐下來是在2005年,那是一個錯誤。」十幾歲時,他在給母親搬取暖器的時候第一次受了傷。到了50多歲,他如果要坐下來,就要冒著腰椎間盤滑脫的風險,而一旦腰椎間盤滑脫了,疼痛會使他臥床數周。 所以,他不再坐下。
他在多倫多大學的辦公室裏用的是一張站立式辦公桌。吃飯的時候,他就跪在桌旁的一個小泡沫墊板上,泰然自若,像一位祭壇旁的僧人。乘坐汽車的時候,他會躺在後座上。如果是長途旅行,他就乘火車。 他不能乘飛機,至少不能搭乘商業航空公司的飛機,因為這些飛機在起飛和降落時要求乘客保持坐姿。 他說:「我每天都很煎熬,情況發展到了可能會癱瘓的地步,所以我很認真地對待這件事。」 那年秋天,他躺在公共汽車的後座上奔赴紐約,再乘火車一路前往位於加利福尼亞州特拉基的內華達山脈頂峰,然後在出租車的後座上伸直雙腿,30分鐘後,他抵達了太浩湖。之後,他創立了一家新公司。 公司的創始人還包括另外兩個人,他們是在他大學實驗室裏做研究的年輕研究生。這家公司不生產任何產品,也沒有生產產品的計劃。公司的網站上只提供了一個名字——DNNresearch ,這個名字比這個網站還缺乏吸重力。 當時64歲的辛頓在學術界看來很自在,他留著一頭亂蓬蓬的白發,穿著羊毛衫,有幽默感,在這兩名學生的遊說之下,他才決定創立這家公司。 但當他抵達太浩湖時,中國最大的科技公司之一已經出價1200萬美元,要收購他剛剛起步的公司,另外三家公司也很快加入競拍,其中包括兩家美國最大的科技公司。 辛頓去了哈拉斯和哈維斯,這兩家高聳的賭場酒店位於太浩湖南邊的滑雪山腳下。 2012年12月,那裏舉辦了一場名為NIPS的電腦科學家年度聚會。NIPS的全稱是「神經資訊處理系統」,盡管從名稱上看是要深入研究電腦的未來,但NIPS其實是一個專註於人工智能的會議。 但這次不同。雖然那家中國公司已經釘選了對DNNresearch的興趣,但他知道其他人也感興趣,NIPS似乎是一個理想的拍賣場所。
02
兩個月之前,辛頓和他的學生改變了機器看待世界的方式。他們已經打造了所謂的「神經網絡 」,即一個模仿大腦神經元網絡的數學系統,它能夠以前所未有的準確度辨識常見的物體,比如花朵、小狗和汽車。 辛頓和他的學生展示出,神經網絡可以透過分析大量的數據來學習這種非常人性化的技能。他稱之為「深度學習」,其潛力巨大。這項技術不僅會改變電腦視覺,還會改變一切,從可對話式數碼助理到自動駕駛汽車,再到新藥研發。 神經網絡的概念可以追溯到20世紀50年代,但是早期的拓荒者從未讓這項技術像他們希望的那樣工作。
到了21世紀,大多數研究人員都放棄了這項技術,認為這是一條技術上的死胡同,並對研究人員在過去50年間試圖讓數學系統以某種方式模仿人類大腦的自負探索感到困惑。 當那些仍然在探索這項技術的研究員向學術期刊送出論文時,他們通常會將研究偽裝成其他東西,用不太會冒犯其他科學家同行的語言來代替神經網絡這個詞。但是,仍然有少數人相信這項技術終有兌現預期的那一天,辛頓就是其中之一。 他設計的機器不僅能辨識物體,還能辨識口語詞匯、理解自然語言並進行對話,甚至可能解決人類自己無法解決的問題,為探索生物學、醫學、地質學和其他科學的奧秘提供了創新的、更精確的方法。
03
在自己的科研成果發表後不久,辛頓收到了一封電子郵件,來自一位名叫余凱 的人工智能研究員,他當時在中國科技巨頭百度公司工作。 表面上看,辛頓和余凱沒有什麽共同之處。 辛頓出生於戰後英國的一個著名的科學家家庭,這一家人的影響力與自身的怪癖相得益彰。辛頓曾在劍橋大學學習,在愛丁堡大學獲得人工智能博士學位,並在接下來的30年裏擔任電腦科學教授。 余凱出生的時間比辛頓晚30年,他在中國長大,父親是一名汽車工程師,余凱先後在中國南京和德國慕尼黑讀書,然後去了美國矽谷的一家企業研究實驗室工作。 這兩個人的階級、年齡、文化、語言和地域各不相同,但他們擁有一個共同的興趣:神經網絡。他們最早是在加拿大的一場學術研討會上認識的,旨在重振這個在科學界幾乎處於休眠狀態的研究領域,並將這一想法重新命名為「深度學習」。
余凱是參與傳播這一信仰的人之一。回到中國之後,他把這個想法帶到了百度,在那裏,他的研究引起了公司行政總裁的註意。當辛頓這篇長達9頁的論文在多倫多大學發表時,余凱告訴百度的智囊團,他們應該盡快招募辛頓。 在郵件中,他將辛頓介紹給了百度的一位副總裁,這位副總裁為辛頓短短幾年的工作成果報價1200萬美元。 起初,辛頓在北京的這家「追求者」認為雙方已經達成了協定,但辛頓並不是那麽確定。最近幾個月,與他建立聯系的還有其他幾家公司,規模有大有小,其中包括百度的兩個美國大型競爭對手。 這些公司也打電話到辛頓在多倫多大學的辦公室,詢問需要支付多大的代價才能招募他及他的學生。看到了更多的機會之後,他問百度,在接受其1200萬美元的報價之前,他是否可以尋求其他的報價,百度同意了。 於是,他徹底扭轉了形勢。在學生的啟發下,他意識到百度及其競爭對手更有可能花巨資收購一家公司,而不是花同樣的錢從學術界招募幾名新員工。 於是他創立了一家自己的小公司,命名為DNNresearch,以呼應他們專註研究的「深度神經網絡」(Deep Neural Networks)。 他還咨詢了多倫多的一名律師,關於如何讓一家僅有三名員工、沒有產品、幾乎沒有經營記錄的初創公司的價格最大化。 在這位律師看來,他有兩個選擇:一是可以聘請一名專業的談判代表,但這樣做存在一定的風險,可能會激怒那些預期的潛在收購方;二是可以組織一場拍賣活動。辛頓選擇了拍賣 。 最終,4家公司加入了對他的新公司的競拍:百度、谷歌、微軟和DeepMind 。當時,DeepMind是一家成立僅兩年的世界上大多數人從未聽說過的初創公司,它即將成為這個時代最著名且最有影響力的人工智能實驗室。 辛頓在哈拉斯賭場酒店的房間裏進行拍賣,這裏可以俯瞰內華達州的松樹和白雪皚皚的山峰。
拍賣規則很簡單:每次拍賣開始之後,這4家公司有一個小時的時間將報價提高至少100萬美元。這一個小時的倒計時以最新報價的電子郵件時間戳為準,一個小時之後,如果沒有新的報價出現,當天的拍賣就結束。 DeepMind用公司股份報價,而不用現金,但它無法與科技領域的巨頭們競爭,很快就結束了。百度、谷歌和微軟留了下來。隨著報價不斷攀升,先是1500萬美元,然後是2000萬美元,微軟也結束了,但後來又重新回來。 報價到2200萬美元時,辛頓暫停了拍賣,他與其中一名競拍者進行了討論,半個小時之後,微軟再次結束。現在,就剩下百度和谷歌了,隨著時間的推移,兩家公司的報價更高了。 最初是由余凱為百度報價,但當價格達到2400萬美元時,一名百度的高管從北京接手了。 他們很快就意識到百度願意出更高的價格:2500萬美元、3000萬美元、3500萬美元。不可避免的是,下一次報價要到一個小時倒計時終止前的一兩分鐘才會出現,這使得原本接近尾聲的拍賣再次被拉長。 價格攀升到如此之高,辛頓於是把報價的視窗時間從一個小時縮短到30分鐘。報價迅速攀升至4000萬美元、4100萬美元、4200萬美元、4300萬美元。 最終,辛頓終止了拍賣,因為對他來說,為自己的研究找到合適的歸宿比最終獲得最高的價格更重要。 當他告訴谷歌的報價者他接受4400萬美元的價格時,他們認為這是在開玩笑,因為他們覺得他不可能放棄仍然在不斷攀升的報價。 但是,辛頓沒有意識到他們的想法有多大的價值。沒人知道。在這4家公司裏散布著一小批科學家,辛頓及其學生們與他們一起,很快就將這個單一的想法推向了科技行業的中心。 在此過程中,他們突然戲劇性地加速了人工智能的進步,包括可對話式數碼助理、自動駕駛汽車、機器人、自動化醫療健康,以及自動化戰爭和監控(盡管這二者從來不是他們的目的)。