當前位置: 華文世界 > 科技

關註AI必讀!Anthropic CEO萬字長文-預測強人工智能的積極未來

2024-10-13科技

Anthropic CEO Dario Amodei 在 Claude opus 3.5 釋出前寫了一篇非常長的文章來 介紹未來強人工智能(他不願意把這個叫AGI)對人類的積極影響

在文章中他描述了自己思考中的強人工智能的定義,而且在詳細介紹了強人工智能可能在五個核心方面對未來人類的積極作用。

不像 Sam 那篇文章,他這敘述極為嚴謹在每個領域都有嚴密詳細的推理過程,值得所有人關註 AI 的人看一下。

由於內容非常長我整理了一些我覺得重要的部份,後面有全文轉譯:

  • 大多數人都低估了 AI 可能帶來的巨大積極影響,就像他們低估了潛在風險的嚴重性一樣。

  • Dario Amodei經常對許多 AI 風險領域的公眾人物(更不用說 AI 公司領導人(說你呢 Sam))談論後通用人工智能 (AGI) 世界的方式感到不適。

  • Dario Amodei認為強人工智能可能最早會在 2026 年出現,盡管也有可能需要更長的時間

  • 強人工智能在形式上可能類似於今天的大型語言模型 (LLM),但可能采用不同的架構,可能涉及多個相互作用的模型,並可能以不同的方式進行訓練。 強人工智能具體的特點有

  • 在純粹的智力方面,它比大多數相關領域的頂尖專家更聰明。

  • 除了作為一個"聰明的對話夥伴",它還具備虛擬工作環境中人類可用的所有"介面",包括文字、語音、影片、滑鼠鍵盤控制和互聯網存取。

  • 它不只是被動回答問題,而是可以接受需要數小時、數天甚至數周才能完成的任務。

  • 它沒有物理實體(除了存在於電腦系統中),但可以透過電腦控制現有的物理工具、機器人或實驗室器材。

  • 用於訓練這個模型的計算資源可以重新用於同時執行數百萬個例項。這個模型可以以比人類快 10-100 倍的速度吸收資訊和產生行動。

  • 這數百萬個副本中的每一個都可以獨立執行不同的任務,或者在需要時像人類團隊一樣協作工作。

  • 可能與強人工智能互補的因素和限制性因素:

  • 外部世界的速度。智能體需要在現實世界中互動才能完成任務和學習。但現實世界的運轉速度是有限的。

  • 數據需求。有時候,原始數據的缺乏會成為瓶頸,在這種情況下,再高的智能也無濟於事。

  • 內在復雜性。有些系統本質上是不可預測或混沌的,即使是最強大的 AI 也無法比現有的人類或電腦做出更好的預測或解析。

  • 人為限制。很多事情不能在不違法、不傷害他人或不破壞社會秩序的前提下完成。一個經過良好調校的 AI 不會想要做這些事。

  • 物理定律。這是對第一點的進一步強調。有些物理定律似乎是不可違背的。

  • 強人工智能允許我們將人類生物學家在未來 50-100 年內可能實作的進展壓縮到 5-10 年內 。下面這些問題都將被一定程度解決。

  • 幾乎所有自然傳染病的可靠預防和治療。

  • 消除大多數癌癥。過去幾十年,癌癥死亡率每年下降約 2%;因此,按照目前人類科學的速度,我們有望在 21 世紀消除大多數癌癥。

  • 非常有效的預防和有效治療遺傳疾病。大大改進的胚胎篩查可能使預防大多數遺傳疾病成為可能。

  • 預防阿爾茨海默病。

  • 改善大多數其他疾病的治療。這是一個包括糖尿病、肥胖、心臟病、自身免疫疾病等其他疾病的統稱類別。

  • 生物自由。我懷疑 AI 加速的生物學將大大擴充套件可能性:體重、外貌、生殖和其他生物過程將完全在人們的控制之下。

  • 人類壽命翻倍 。在 20 世紀,預期壽命幾乎增加了 2 倍(從約 40 歲到約 75 歲),所以"壓縮的 21 世紀"再次將其翻倍到 150 歲是"符合趨勢的"。

  • 預防大多數精神疾病,可能會在5-10年的 AI 加速年內合理完成。具體的預測是

  • 大多數精神疾病可能可以被治愈。

  • 非常"結構性"的條件可能更難,但並非不可能。也許有某種方法可以誘導成年大腦進入更早或更具可塑性的狀態,在那裏它可以被重塑。

  • 有效地透過基因預防精神疾病似乎是可能的。

  • 我們不認為是臨床疾病的日常問題也將得到解決。我們大多數人都有日常心理問題,通常不被認為達到臨床疾病的水平。

  • 人類基線體驗可以更好。可能也可以全面提高各種認知功能。這也許是"生物自由"或"延長壽命"的神經科學版本。

  • 強人工智能開發後 5-10 年內發展中國家可能發生的情況的一些猜測:

  • 健康幹預措施的普及。我最樂觀的領域可能是在全球範圍內普及健康幹預措施。

  • 經濟增長。發展中國家每年 20% 的 GDP 增長率,其中 10% 來自 AI 支持的經濟決策,10% 來自 AI 加速技術的自然傳播,包括但不限於健康領域。

  • 糧食安全。以及使農業供應鏈更加高效 - 可能會給我們帶來 AI 驅動的第二次 綠色革命 ,幫助縮小發展中國家和已開發國家之間的差距。

  • 減緩氣候變遷。AI 增強的研究將為我們提供使減緩氣候變遷的成本和破壞性大大降低的手段,使許多反對意見變得毫無意義。

  • 國家內部的不平等。預計公民會要求獲得如此大幅改善生活質素的技術。當然,這種要求的成功並不是預定的 - 這裏是我們集體必須盡一切努力確保公平社會的另一個地方。

  • 選擇結束問題。這是一個難以解決的問題,因為我不認為在道德上強迫人們是正確的,但我們至少可以嘗試增加人們的科學理解 - 也許 AI 本身可以幫助我們做到這一點。

  • 和平糊治理層面:

  • 民主政府可以利用他們優越的 AI 技術贏得資訊戰。他們可以有效地反制威權政體的影響和宣傳行動。

  • AI 是第一個能夠以可重復和系統的方式對復雜、模糊的情況做出判斷的技術。可以透過提高決策和流程的公正性來改善我們的法律和司法系統。

  • AI 可以用來匯總不同意見,推動公民之間達成共識,解決沖突,尋找共同點,促進妥協。

  • AI 還有一個明顯的套用領域,那就是幫助提供政府服務。

  • 21世紀,在 AI 的支持下,我們有機會創造一種新型的政治體制。

  • **當 AI (人工智能) 包攬一切時,人類如何找到人生的意義呢?**他認為這個問題比其他問題更加棘手:

  • 在一個足夠先進的 AI 驅動經濟中,大多數或所有人類可能無法做出有意義貢獻的潛在問題。
    將繼續保持人類的相關性並實際上提高他們的生產力,甚至可能在某些方面使人類之間的競爭環境變得更加公平。

  • 從長遠來看,AI 將變得如此廣泛有效和廉價,以至於這種情況將不再適用。到那時,我們當前的經濟模式將不再有意義,需要進行更廣泛的社會對話,討論經濟應該如何重新組織。

  • 最終合理的可能是 AI 系統的資本主義經濟,然後根據某種次級經濟 (基於 AI 系統認為在人類中有意義獎勵的判斷,最終源於人類價值觀) 向人類分配資源 (大量資源,因為總體經濟蛋糕將會巨大)。

  • 我們可能必須努力爭取獲得一個好的結果:剝削性或反烏托邦的方向顯然也是可能的,必須加以阻止。

  • 整理和校對非常不易,先提前感謝各位的三連和贊賞。

    正文

    我經常思考並討論強大人工智能 (powerful AI) 可能帶來的風險。我擔任 CEO 的公司 Anthropic 進行了大量研究,致力於降低這些潛在風險。因此,有些人可能會認為我是個悲觀主義者或"末日預言家",認為 AI 主要會帶來負面影響或危險。但事實並非如此。恰恰相反,我之所以關註風險,是因為這些風險是我們通往美好未來的唯一障礙。 我認為大多數人都低估了 AI 可能帶來的巨大積極影響 ,就像他們低估了潛在風險的嚴重性一樣。

    在這篇文章中,我試圖描繪出一幅美好的圖景 —— 如果一切都朝著好的方向發展,擁有強大 AI 的世界會是什麽樣子。當然,沒有人能夠確切地預知未來,強大 AI 的影響可能比過去的任何技術變革都更難預測,所以這裏難免會有一些猜測的成分。但我的目標是至少提供一些有根據且有價值的猜想,即使大多數細節最終可能有誤,也能捕捉到未來的大致輪廓。我在文中包含了大量細節,主要是因為我認為一個具體的願景比一個高度保守和抽象的願景更能推動討論。

    首先,我想簡要解釋一下為什麽我和 Anthropic 沒有過多談論強大 AI 的好處,以及為什麽我們可能會繼續主要關註風險。特別是,我做出這個選擇是基於以下考慮:

  • 最大化影響力 。AI 技術的基本發展和許多(不是全部)好處似乎是不可避免的(除非風險導致一切偏離軌域),並且主要由強大的市場力量驅動。另一方面,風險並非註定發生,我們的行動可以極大地改變它們出現的可能性。

  • 避免被視為宣傳 。如果 AI 公司總是談論 AI 的驚人好處,可能會給人一種在做宣傳的感覺,或者像是在試圖轉移人們對缺點的註意力。我也認為,作為一個原則問題,過多地"自吹自擂"對一個人的品格是有害的。

  • 避免自大 。我經常對許多 AI 風險領域的公眾人物(更不用說 AI 公司領導人)談論後通用人工智能 (AGI) 世界的方式感到不適,好像他們的使命是像先知引導人民走向救贖一樣單槍匹馬地實作它。我認為將公司視為單方面塑造世界是危險的,將實際的技術目標等同於宗教使命也是危險的。

  • 避免"科幻"標簽 。盡管我認為大多數人低估了強大 AI 的好處,但討論激進 AI 未來的小圈子經常以過於"科幻"的口吻進行討論(包括例如思維上傳、太空探索或一般的賽博龐克風格場景)。我認為這會導致人們不太認真對待這些觀點,並給它們蒙上一層不真實的色彩。需要說明的是,問題不在於所描述的技術是否可能實作(主文章會詳細討論這一點) —— 更多的是這種"氛圍"隱含地帶來了一堆文化包袱和未明確說明的假設,比如什麽樣的未來是理想的,各種社會問題將如何發展等。這種討論往往最終讀起來像是一個小眾群體的幻想,同時讓大多數人感到不適。

  • 然而,盡管有上述所有擔憂,我真的認為討論一個擁有強大 AI 的美好世界可能是什麽樣子很重要,同時我們要盡最大努力避免上述陷阱。事實上,我認為有一個真正鼓舞人心的未來願景是至關重要的,而不僅僅是一個應對危機的計劃。強大 AI 的許多影響可能是具有挑戰性或危險的,但在最後,我們必須有我們為之奮鬥的目標,一個每個人都能受益的共贏結果,一些能讓人們團結起來,超越分歧,共同面對未來挑戰的願景。恐懼是一種動力,但還不夠:我們也需要希望。

    強大 AI 的積極套用領域非常廣泛(包括機器人技術、制造業、能源等),但我將重點關註少數幾個我認為最有可能直接改善人類生活質素的領域。我最感興趣的五個類別是:

    1. 生物學和身體健康

    2. 神經科學和心理健康

    3. 經濟發展和減貧

    4. 和平與治理

    5. 工作和人生意義

    按照大多數標準(除了科幻"奇異點"願景 2 ),我的預測可能會顯得激進,但我是認真和誠懇地提出它們的。我所說的一切很可能是錯的(再次強調我之前的觀點),但我至少試圖將我的觀點建立在對各個領域可能加速發展的程度以及這在實踐中可能意味著什麽的半分析性評估的基礎上。我很幸運在 生物學和神經科學 方面都有專業經驗,我也是經濟發展領域的一名了解情況的業余愛好者,但我肯定會在很多方面有所疏漏。寫這篇文章讓我意識到,把一群領域專家(生物學、經濟學、國際關系和其他領域的專家)召集在一起,寫出比我在這裏提供的更全面、更有見地的版本將是非常有價值的。最好將我在這裏的努力視為對該小組的一個起始提示。

    基本假設和框架

    為了使整篇文章更加精確和有根據,我們需要明確定義什麽是強大的人工智能 (AI),即什麽樣的 AI 能力標誌著未來 5-10 年重大變革的開始。同時,我們還需要建立一個框架,來思考這種 AI 一旦出現後會帶來哪些影響。

    強大的 AI (我更喜歡用這個詞,而不是通用人工智能 AGI) 3 究竟會是什麽樣子,何時(或是否)會出現,本身就是一個巨大的話題。我曾公開討論過這個問題,也許將來會專門寫一篇文章來探討。顯然,許多人對強大的 AI 能否在短期內實作持懷疑態度,一些人甚至質疑它是否能被創造出來。我個人認為它可能最早會在 2026 年出現,盡管也有可能需要更長的時間。但在本文中,我想暫且擱置這些爭議,假設它會在可預見的未來出現,併集中討論在那之後的 5-10 年內可能發生的變革。我還想假設這樣一個系統的基本特征,包括它的能力和互動方式,盡管這些假設可能存在爭議。

    我心目中的"強大 AI"是一種人工智能模型 —— 在形式上可能類似於今天的大型語言模型 (LLM),但可能采用不同的架構,可能涉及多個相互作用的模型,並可能以不同的方式進行訓練。它具有以下特性:

  • 在純粹的智力方面,它比大多數相關領域的頂尖專家更聰明 —— 無論是生物學、編程、數學、工程還是寫作等。這意味著它可以證明尚未解決的數學定理,創作出色的小說,從零開始編寫復雜的程式等。 4

  • 除了作為一個"聰明的對話夥伴",它還具備虛擬工作環境中人類可用的所有"介面",包括文字、語音、影片、滑鼠鍵盤控制和互聯網存取。它可以透過這些介面執行各種操作、進行通訊或遠端操作,比如在網上活動,給人類指令或接受指令,訂購材料,指導實驗,觀看或制作影片等。在所有這些任務中,它的表現都超越了世界上最優秀的人類專家。

  • 它不只是被動回答問題,而是可以接受需要數小時、數天甚至數周才能完成的任務,然後像一個聰明的員工那樣自主地完成這些任務,必要時會主動尋求澄清。

  • 它沒有物理實體(除了存在於電腦系統中),但可以透過電腦控制現有的物理工具、機器人或實驗室器材。理論上,它甚至可以為自己設計新的機器人或器材來使用。

  • 用於訓練這個模型的計算資源可以重新用於同時執行數百萬個例項(這與 2027 年左右的預計計算集群規模相匹配)。這個模型可以以比人類快 10-100 倍的速度吸收資訊和產生行動。不過,它可能會受到物理世界或與之互動的軟件響應速度的限制。 5

  • 這數百萬個副本中的每一個都可以獨立執行不同的任務,或者在需要時像人類團隊一樣協作工作。某些子群體可能會被特別最佳化,以擅長特定類別的任務。

  • 我們可以將這種 AI 概括為"數據中心裏的天才國度"。

    顯然,這樣一個系統能夠非常快速地解決極其困難的問題,但具體有多快並不容易確定。我認為兩種"極端"觀點都是錯誤的。首先,有人可能認為世界會在幾秒或幾天內發生徹底轉變(即所謂的"[技術奇異點]( https://en.wikipedia.org/wiki/Technological_singularity#:~:text=The technological singularity—or simply,unforeseeable consequences for Human civilization.)")。按照這種觀點,超級智能會不斷自我提升,幾乎立即解決所有可能的科學、工程和操作問題。這種觀點的問題在於,現實世界存在真實的物理和實際限制,比如硬件制造或生物實驗方面的限制。即使是一個"天才國度 "也無法完全突破這些限制。智能確實非常強大,但它並不是萬能的魔法。

    第二種極端觀點則認為,技術進步已經達到飽和,或者受到現實世界數據或社會因素的限制,超人類智能幾乎不會帶來什麽額外的進步 6 。這種觀點在我看來同樣不可信。我能想到數百個科學甚至社會問題,在這些領域,一大群真正聰明的智能體會大大加快進展。特別是如果它們不僅能進行分析,還能在現實世界中實施行動(我們假設的"天才國度"能做到這一點,包括指導或協助人類團隊)。

    我認為真實情況可能是這兩種極端觀點的某種混合,在不同任務和領域中表現不同,細節上會非常復雜。我們需要新的思維框架來有效地思考這些細節。

    經濟學家經常談論"生產要素",比如勞動力、土地和資本。"勞動力/土地/資本的邊際收益"這個概念捕捉了這樣一個思想:在特定情況下,某個因素可能是也可能不是限制性因素。舉個例子,空軍需要飛機和飛行員,如果飛機數量已經用盡,那麽增加飛行員數量並不會帶來太大幫助。我認為在 AI 時代,我們應該討論 智能的邊際收益 7 ,並試圖找出哪些因素與智能是互補的,以及當智能水平非常高時,哪些因素會成為新的限制因素。我們還不習慣這樣思考 —— 去問"在這項任務中,更高的智能能帶來多大幫助,在什麽時間尺度上?" —— 但這似乎是理解一個擁有超級 AI 的世界的正確方式。

    我認為,限制或與智能互補的因素可能包括:

  • 外部世界的速度 。智能體需要在現實世界中互動才能完成任務和學習。但現實世界的運轉速度是有限的。細胞和動物以固定的速度運作,所以對它們的實驗需要一定的時間,這個時間可能是無法縮短的。硬件、材料科學、人際交流,甚至我們現有的軟件基礎設施也都有類似的限制。此外,在科學研究中,often需要進行一系列相互依賴的實驗,每個實驗都基於前一個實驗的結果。所有這些因素意味著,完成一個重大專案 —— 比如開發癌癥治療方法 —— 可能存在一個不可突破的最短時間,即使智能繼續提高,也無法進一步縮短這個時間。 8

  • 數據需求 。有時候,原始數據的缺乏會成為瓶頸,在這種情況下,再高的智能也無濟於事。比如,今天的粒子物理學家已經非常聰明,提出了各種理論,但由於粒子加速器數據 非常有限 ,他們缺乏數據來驗證這些理論。即使他們擁有超級智能,也不清楚能否做得更好 —— 除非這種智能能幫助更快地建造更大的加速器。

  • 內在復雜性 。有些系統本質上是不可預測或混沌的,即使是最強大的 AI 也無法比現有的人類或電腦做出更好的預測或解析。例如,對於一個混沌系統(如 三體問題 ),即使是超級 AI 也只能比現在的人類和電腦稍微多預測一點點未來。 9

  • 人為限制 。很多事情不能在不違法、不傷害他人或不破壞社會秩序的前提下完成。一個經過良好調校的 AI 不會想要做這些事(如果我們的 AI 沒有經過良好調校,那我們就要回到討論風險了)。許多人類社會結構雖然效率低下甚至有害,但要在尊重臨床試驗法規、人們改變習慣的意願或政府行為等限制的同時改變它們並不容易。有些技術進步在技術層面運作良好,但其影響卻因為法規或不當的恐懼而大大受限,例子包括核能、 超音速客機 ,甚至 電梯

  • 物理定律 。這是對第一點的進一步強調。有些物理定律似乎是不可違背的。我們不可能超光速移動。 攪拌過的布丁不會自動回到未攪拌狀態 。芯片每平方厘米只能容納一定數量的晶體管, 否則就會變得不可靠 (這裏指的是量子穿隧效應,它會導致電子在高密度芯片中"泄漏")。計算過程中 每擦除一個位元至少需要消耗一定的能量 ,這限制了世界上計算密度的上限。

  • 還有一個基於 時間尺度 的重要區分。短期內看似堅不可摧的限制,長期來看可能會被智能逐漸突破。例如,智能可能被用來開發新的實驗方法,讓我們能在實驗室裏學到以前只能透過活體動物實驗才能獲得的知識。或者,它可以幫助我們建造收集新數據所需的工具(比如更大的粒子加速器)。在道德和倫理允許的範圍內,它甚至可能找到繞過人為限制的方法,比如幫助改進臨床試驗系統,在監管更寬松的地方建立新的臨床試驗中心,或者改進科學本身,使人體臨床試驗變得不那麽必要或更加經濟。

    因此,我們應該想象這樣一個場景:最初,智能的發展會受到其他因素的嚴重制約,但隨著時間推移,智能本身會越來越多地找到繞過這些限制的方法。盡管有些限制(比如基本物理定律)可能永遠無法完全突破,但智能會不斷拓展可能性的邊界 10 。關鍵問題是:這個過程會有多快?各個領域的突破會以什麽順序發生?

    基於上述框架,我將嘗試回答引言中提到的五個關鍵領域的這些問題。

    1. 生物學和健康

    生物學可能是科學進步最有潛力直接和明確改善人類生活質素的領域。在上個世紀,一些最古老的人類疾病 (如天花) 終於被征服,但還有更多疾病仍然存在,擊敗它們將是一項巨大的人道主義成就。除了治愈疾病,生物科學原則上可以透過延長健康的人類壽命、增加對我們自身生物過程的控制和自由,以及解決我們目前認為是人類狀況不可改變部份的日常問題,來改善人類健康的基線質素。

    用前一節的"限制因素"語言來說,直接將智能套用於生物學的主要挑戰是數據、物理世界的速度和內在復雜性 (實際上,這三者都是相互關聯的)。人類的限制也在後期階段發揮作用,特別是涉及臨床試驗時。讓我們逐一討論這些因素。

    對細胞、動物甚至化學過程的實驗受到物理世界速度的限制:許多生物學協定涉及培養細菌或其他細胞,或者只是等待化學反應發生,這有時可能需要數天甚至數周的時間,而且沒有明顯的方法可以加快速度。動物實驗可能需要數月 (或更長時間),人類實驗通常需要數年 (長期結果研究甚至可能需要數十年)。與此有些相關的是,數據往往缺乏 - 不是數量,而是質素:總是缺乏清晰、明確的數據來將感興趣的生物效應與其他 10,000 個混雜因素隔離開來,或者在給定過程中進行因果幹預,或者直接測量某些效應 (而不是以某種間接或嘈雜的方式推斷其結果)。即使是大規模的、定量的分子數據,比如我在研究質譜技術時收集的蛋白質組學數據,也是嘈雜的,而且遺漏了很多 (這些蛋白質在哪些類別的細胞中?在細胞的哪個部份?在細胞周期的哪個階段?)。

    部份導致這些數據問題的是內在復雜性:如果你曾經見過展示人類代謝生物化學的圖表,你就會知道很難隔離這個復雜系統的任何部份的效應,更難以精確或可預測的方式幹預系統。最後,除了在人類身上進行實驗所需的原時間之外,實際的臨床試驗還涉及大量的官僚主義和監管要求,這些要求 (在包括我在內的許多人看來) 增加了不必要的額外時間並延緩了進展。

    鑒於這一切,許多生物學家長期以來一直懷疑 AI 和更廣泛的"大數據"在生物學中的價值。從歷史上看,在過去 30 年裏將自己的技能套用於生物學的數學家、電腦科學家和物理學家取得了相當大的成功,但並沒有產生最初希望的那種真正變革性的影響。一些懷疑已經被 AlphaFold (剛剛為其創造者贏得了應得的諾貝爾化學獎) 和 AlphaProteo [11] 等重大和革命性的突破所減少,但仍然存在一種觀點認為 AI 在現在和將來只在有限的情況下有用。一個常見的說法是"AI 可以更好地分析你的數據,但它不能產生更多的數據或改善數據的質素。垃圾進,垃圾出"。

    但我認為這種悲觀的觀點是以錯誤的方式看待 AI。如果我們關於 AI 進展的核心假設是正確的,那麽正確的思考 AI 的方式不是作為一種數據分析方法,而是作為一個虛擬的生物學家,執行生物學家所做的所有任務,包括設計和在真實世界中進行實驗 (透過控制實驗室機器人或簡單地告訴人類進行哪些實驗 - 就像主要研究員對他們的研究生所做的那樣),發明新的生物學方法或測量技術,等等。正是透過加速整個研究過程,AI 才能真正加速生物學。我想重復這一點,因為這是我談到 AI 能力轉變生物學時最常見的誤解:我說的不是 AI 僅僅是一個分析數據的工具。根據本文開頭對強大 AI 的定義,我說的是使用 AI 來執行、指導和改進生物學家所做的幾乎所有事情。

    為了更具體地說明我認為加速可能來自哪裏,令人驚訝的是,生物學的進展中有相當大一部份來自於真正少量的發現,通常與廣泛的測量工具或技術 [12] 有關,這些工具或技術允許精確但通用或可編程的生物系統幹預。這些重大發現每年可能只有約 1 個,但它們共同推動了生物學進展的 >50%。這些發現如此強大,正是因為它們突破了內在復雜性和數據限制,直接增加了我們對生物過程的理解和控制。每十年的幾個發現既推動了我們對生物學的基本科學理解的大部份,也推動了許多最強大的醫療治療。

    一些例子包括:

    CRISPR:一種允許在活體生物中即時編輯任何基因的技術 (將任意基因序列替換為任何其他任意序列)。自原始技術開發以來,已經不斷改進以針對特定細胞類別,提高準確性,並減少錯誤基因的編輯 - 這些都是在人類身上安全使用所需的。

    各種類別的顯微鏡技術,用於精確觀察正在發生的事情:先進的光學顯微鏡 (具有各種熒光技術、特殊光學等)、電子顯微鏡、原子力顯微鏡等。

    基因組測序和合成,在過去幾十年裏成本下降了幾個數量級。

    光遺傳學技術,允許透過照射光線來使神經元發射。

    mRNA 疫苗,原則上允許我們設計針對任何東西的疫苗,然後快速適應 (mRNA 疫苗當然在 COVID 期間變得著名)。

    細胞療法,如 CAR-T,允許將免疫細胞從體內取出並"重新編程"以攻擊原則上任何東西。

    概念性洞察,如疾病的微生物理論或認識到免疫系統與癌癥之間的聯系。

    我費盡心思列出所有這些技術,是因為我想對它們提出一個關鍵的主張:如果有更多有才華、有創造力的研究人員,我認為它們的發現率可能會增加 10 倍或更多。或者換句話說,我認為這些發現的智力回報很高,生物學和醫學中的其他一切主要都源於它們。

    為什麽我這麽認為?因為當我們試圖確定"智力回報"時,我們應該養成習慣問的一些問題的答案。首先,這些發現通常是由極少數研究人員做出的,往往是同一批人反復做出,這表明是技能而不是隨機搜尋 (後者可能表明冗長的實驗是限制因素)。其次,它們往往"可能"比實際早幾年被發現:例如,CRISPR 是細菌免疫系統中自然存在的組成部份,自 80 年代就已知曉,但人們花了 25 年才意識到它可以被重新用於通用基因編輯。它們也經常因為科學界缺乏對有前途方向的支持而延遲多年 (參見這篇關於 mRNA 疫苗發明者的簡介;類似的故事比比皆是)。第三,成功的專案往往是草率的或最初被認為不太有前途的後思,而不是大規模資金支持的努力。這表明不僅僅是大規模資源集中推動發現,而是創造力。

    最後,盡管這些發現中的一些有"序列依賴性"(你需要先做出發現 A,才能有工具或知識來做出發現 B) - 這再次可能造成實驗延遲 - 但許多,也許是大多數,是獨立的,意味著可以同時並列工作許多發現。這些事實,以及我作為生物學家的一般經驗,強烈表明,如果科學家更聰明,更善於在人類擁有的大量生物學知識之間建立聯系,就有數百個這樣的發現等待被發現 (再次考慮 CRISPR 的例子)。AlphaFold/AlphaProteo 在解決重要問題方面比人類更有效的成功,盡管經過數十年精心設計的物理建模,提供了一個原則證明 (盡管是在狹窄領域的狹窄工具),應該指明前進的方向。

    因此,我猜測強大的 AI 至少可以將這些發現的速度提高 10 倍,使我們在 5-10 年內獲得未來 50-100 年的生物學進展 [14]。為什麽不是 100 倍?也許是可能的,但這裏序列依賴性和實驗時間變得重要:在 1 年內獲得 100 年的進展需要很多事情第一次就做對,包括動物實驗和設計顯微鏡或昂貴的實驗室設施等事情。我實際上對 (也許聽起來荒謬的) 想法持開放態度,即我們可能在 5-10 年內獲得 1000 年的進展,但非常懷疑我們能在 1 年內獲得 100 年的進展。另一種說法是,我認為有一個不可避免的恒定延遲:實驗和硬件設計有一定的"延遲",需要叠代一定"不可減少"的次數,以了解無法邏輯推導的事情。但在此基礎上可能實作大規模並列 [15]。

    臨床試驗呢?雖然與之相關的官僚主義和減速很多,但事實是,大部份 (雖然絕不是全部!) 的緩慢最終源於需要嚴格評估那些幾乎不起作用或模糊起作用的藥物。這可悲地適用於今天的大多數療法:平均的癌癥藥物只能增加幾個月的生存期,同時有顯著的副作用需要仔細測量 (阿爾茨海默氏癥藥物也有類似的情況)。這導致了巨大的研究 (為了實作統計能力) 和困難的權衡,監管機構通常不擅長處理這些權衡,這又是因為官僚主義和利益沖突的復雜性。

    當某些東西真的很有效時,它會進行得更快:有一個加速批準的通道,當效果大小更大時,批準的容易程度也更大。COVID 的 mRNA 疫苗在 9 個月內就獲得了批準 - 比通常的速度快得多。也就是說,即使在這些條件下,臨床試驗仍然太慢 - mRNA 疫苗可以說應該在約 2 個月內獲得批準。但這種延遲 (藥物端到端約 1 年) 結合大規模並列化和需要一些但不是太多叠代 ("幾次嘗試") 與 5-10 年內的根本轉變是非常相容的。更樂觀的是,AI 支持的生物科學可能會透過開發更好的動物和細胞實驗模型 (甚至是模擬) 來減少臨床試驗中叠代的需要,這些模型在預測人類會發生什麽方面更準確。這在開發針對衰老過程的藥物時尤為重要,因為衰老過程持續數十年,我們需要更快的叠代迴圈。

    最後,關於臨床試驗和社會障礙的話題,值得明確指出的是,在某些方面,生物醫學創新在成功部署方面有著異常強大的記錄,與一些其他技術相比 [16]。正如在引言中提到的,盡管在技術上運作良好,許多技術仍受到社會因素的阻礙。這可能會對 AI 能夠實作的成就持悲觀態度。但生物醫學是獨特的,因為盡管開發藥物的過程過於繁瑣,但一旦開發出來,它們通常會成功部署和使用。

    總結上述內容,我的基本預測是,AI 支持的生物學和醫學將允許我們將人類生物學家在未來 50-100 年內可能實作的進展壓縮到 5-10 年內。我將這稱為"壓縮的 21 世紀":即在強大的 AI 開發出來後,我們將在幾年內實作我們在整個 21 世紀可能實作的所有生物學和醫學進展。

    雖然預測強大的 AI 在幾年內能做什麽本質上仍然是困難和推測性的,但詢問"人類在未來 100 年內不借助外力能做什麽"有一些具體性。簡單地看看我們在 20 世紀取得的成就,或者從 21 世紀的前 20 年推斷,或者詢問"10 個 CRISPR 和 50 個 CAR-T"會給我們帶來什麽,都提供了實際的、紮實的方法來估計我們可能從強大的 AI 中期望的總體進展水平。

    下面我試圖列出我們可能期望的內容。這並不基於任何嚴格的方法,而且在細節上幾乎肯定會被證明是錯誤的,但它試圖傳達我們應該期望的總體激進水平:

  • 幾乎所有自然傳染病的可靠預防和治療。考慮到 20 世紀對傳染病的巨大進展,想象我們可以在壓縮的 21 世紀內"完成工作"並不激進。mRNA 疫苗和類似技術已經為"任何疾病的疫苗"指明了方向。傳染病是否從世界上完全根除(而不僅僅是在某些地方)取決於貧困和不平等的問題,這些在第 3 節中討論。

  • 消除大多數癌癥。過去幾十年,癌癥死亡率每年下降約 2%;因此,按照目前人類科學的速度,我們有望在 21 世紀消除大多數癌癥。一些亞型已經基本被治愈(例如,使用 CAR-T 療法的某些類別的白血病),我對非常選擇性的藥物更加興奮,這些藥物可以在癌癥早期階段靶向治療並防止其生長。AI 還將使非常精細地適應癌癥個體化基因組的治療方案成為可能 - 這些今天是可能的,但在時間和人類專業知識方面非常昂貴,AI 應該允許我們擴大規模。死亡率和發病率都可能降低 95% 或更多。也就是說,癌癥極其多樣化和適應力強,可能是這些疾病中最難完全消滅的。如果一些罕見、困難的惡性腫瘤仍然存在,也不會令人驚訝。

  • 非常有效的預防和有效治療遺傳疾病。大大改進的胚胎篩查可能使預防大多數遺傳疾病成為可能,一些更安全、更可靠的 CRISPR 後代可能治愈大多數現有人群的遺傳疾病。然而,影響大部份細胞的全身性疾病可能是最後的堡壘。

  • 預防阿爾茨海默病。我們在弄清楚阿爾茨海默病的原因方面遇到了很大困難(它與 β-澱粉樣蛋白有某種關系,但實際細節似乎非常復雜)。這似乎正是可以透過更好的測量工具來解決的問題類別,這些工具可以隔離生物效應;因此,我對 AI 解決這個問題的能力持樂觀態度。一旦我們真正了解發生了什麽,很有可能最終可以透過相對簡單的幹預來預防它。也就是說,已經存在的阿爾茨海默病造成的損害可能很難逆轉。

  • 改善大多數其他疾病的治療。這是一個包括糖尿病、肥胖、心臟病、自身免疫疾病等其他疾病的統稱類別。這些疾病中的大多數似乎"更容易"解決,比癌癥和阿爾茨海默病更容易,而且在許多情況下已經在急劇下降。例如,心臟病死亡率已經下降超過 50%,像 GLP-1 激動劑這樣的簡單幹預已經在對抗肥胖和糖尿病方面取得了巨大進展。

  • 生物自由。過去 70 年裏,在避孕、生育、體重管理等方面取得了進展。但我懷疑 AI 加速的生物學將大大擴充套件可能性:體重、外貌、生殖和其他生物過程將完全在人們的控制之下。我們將這些歸類為生物自由:即每個人都應該有權選擇他們想成為什麽樣的人,並以最吸引他們的方式生活。當然,關於全球平等獲取的重要問題將會出現;請參見第 3 節。

  • 人類壽命翻倍 [18]。這可能看起來很激進,但在 20 世紀,預期壽命幾乎增加了 2 倍(從約 40 歲到約 75 歲),所以"壓縮的 21 世紀"再次將其翻倍到 150 歲是"符合趨勢的"。顯然,減緩實際衰老過程所涉及的幹預措施將與上個世紀預防(主要是兒童)過早死於疾病所需的幹預措施不同,但變化的振幅並非前所未有。具體來說,已經存在一些藥物可以將大鼠的最大壽命增加 25-50%,且副作用有限。而且一些動物(例如某些類別的烏龜)已經活到 200 歲,所以人類顯然沒有達到某個理論上限。猜測一下,最重要的可能需要的是可靠的、不會產生古德哈特效應的人類衰老生物標誌物,因為這將允許快速叠代實驗和臨床試驗。一旦人類壽命達到 150 歲,我們可能能夠達到"逃逸速度",爭取足夠的時間,使得今天大多數活著的人能夠活到他們想活的時間,盡管當然沒有保證這在生物學上是可能的。

  • 值得看看這個列表並反思,如果所有這些在 7-12 年內實作(這將符合積極的 AI 時間表),世界將會有多麽不同。不用說,這將是一個難以想象的人道主義勝利,一次性消除了千年來困擾人類的大多數禍害。我的許多朋友和同事正在撫養孩子,當這些孩子長大時,我希望任何對疾病的提及對他們來說都會像壞血病、天花或黑死病對我們一樣。那一代人還將受益於增加的生物自由和自我表達,運氣好的話,他們也可能能夠活到他們想活的時間。

    很難高估這些變化對除了少數預期強大 AI 的人之外的每個人來說會有多麽令人驚訝。例如,目前美國有數千名經濟學家和政策專家在辯論如何保持社會保障和醫療保險的償付能力,更廣泛地說,如何降低醫療保健的成本(主要由 70 歲以上的人消耗,特別是那些患有癌癥等終末期疾病的人)。如果所有這些都實作了,這些計劃的情況可能會得到根本改善 [20],因為工作年齡人口與退休人口的比例將發生巨大變化。毫無疑問,這些挑戰將被其他挑戰所取代,例如如何確保廣泛獲得新技術,但值得反思即使生物學是唯一被 AI 成功加速的領域,世界將會發生多大的變化。

    2. 神經科學與心智

    在上一節中,我主要關註了 身體 疾病和一般生物學,沒有涉及神經科學或心理健康。但神經科學是生物學的一個分支學科,心理健康與身體健康同等重要。事實上,如果說有什麽不同的話,心理健康對人類福祉的影響甚至比身體健康更直接。數億人由於成癮、抑郁、精神分裂癥、低功能自閉癥、PTSD、精神病 [21] 或智力障礙等問題而生活質素極低。還有數十億人在日常生活中掙紮於一些可以被解釋為這些嚴重臨床障礙的較輕微版本的問題。與一般生物學一樣,除了解決問題外,可能還能夠改善人類體驗的基線質素。

    我為生物學制定的基本框架同樣適用於神經科學。該領域由少數發現推動前進,這些發現通常與測量或精確幹預的工具有關 - 在上述清單中,光遺傳學 (optogenetics) 是一項神經科學發現,最近 CLARITY 和 [擴充套件顯微鏡技術]( https://en.wikipedia.org/wiki/Expansion_microscopy#:~:text=Expansion microscopy (ExM) is a,them using a polymer system.) 是同一方向的進展,此外許多通用細胞生物學方法也直接套用於神經科學。我認為,這些進展的速度將同樣被 AI 加速,因此"100年的進展在5-10年內完成"的框架以同樣的方式適用於神經科學,原因也相同。就像在生物學中一樣,20世紀神經科學的進展是巨大的 - 例如,我們直到 1950年代 才理解神經元如何以及為什麽會發放。因此,可以合理地預期,AI 加速的神經科學將在幾年內產生快速進展。

    我們應該在這個基本圖景中添加一點,那就是我們在過去幾年中從 AI 本身學到的一些東西 (或正在學習的) 可能有助於推進神經科學,即使它仍然只由人類完成。 可解釋性 是一個明顯的例子:盡管生物神經元表面上以完全不同於人工神經元的方式運作 (它們透過尖峰和通常是尖峰頻率進行通訊,因此存在人工神經元中不存在的時間元素,並且一系列與細胞生理學和神經遞質相關的細節大大修改了它們的運作),但"簡單單元的分布式、訓練過的網絡如何協同工作以執行重要計算"這個基本問題是相同的,我強烈懷疑在大多數關於計算和電路的有趣問題中,單個神經元通訊的細節將被抽象化 [22]。作為一個例子,AI 系統的可解釋性研究人員最近發現的一種 電腦制 在老鼠大腦中被 重新發現

    對人工神經網絡進行實驗比對真實神經網絡進行實驗要容易得多 (後者通常需要切開動物大腦),因此可解釋性可能成為提高我們對神經科學理解的工具。此外,強大的 AI 本身可能能夠比人類更好地開發和套用這個工具。

    除了可解釋性之外,我們從 AI 中學到的關於智能系統如何 訓練 的知識應該 (盡管我不確定是否已經) 引起神經科學的革命。當我在從事神經科學工作時,很多人關註我現在認為是錯誤的學習問題,因為 尺度假說 / 苦澀教訓 的概念還不存在。簡單的目標函數加上大量數據可以驅動incredibly復雜行為的想法使得理解目標函數和架構偏差變得更有趣,而理解湧現計算的細節變得不那麽有趣。我近年來沒有密切關註這個領域,但我有一種模糊的感覺,計算神經科學家仍然沒有完全吸收這個教訓。我對尺度假說的態度一直是"啊哈 - 這在高層次上解釋了智能是如何工作的,以及它是如何如此容易前進演化的",但我認為這不是普通神經科學家的觀點,部份原因是尺度假說作為"智能的秘密"甚至在 AI 內部也沒有被完全接受。

    我認為神經科學家應該嘗試將這個基本洞見與人腦的特殊性 (生物物理限制、前進演化歷史、拓撲結構、運動和感覺輸入/輸出的細節) 結合起來,以試圖解決神經科學的一些關鍵謎題。可能有些人正在這樣做,但我懷疑還不夠,AI 神經科學家將能夠更有效地利用這個角度來加速進展。

    我預計 AI 將透過四個不同的路線加速神經科學進展,所有這些路線都有望共同努力治愈精神疾病並改善功能:

  • 傳統分子生物學、化學和遺傳學 。這基本上與第1節中的一般生物學相同,AI 可能透過相同的機制加速它。有許多藥物透過調節神經遞質來改變大腦功能、影響警覺性或知覺、改變情緒等,AI 可以 幫助我們發明 更多。AI 可能也能加速對精神疾病遺傳基礎的研究。

  • 精細神經測量和幹預 。這是能夠測量大量單個神經元或神經元電路正在做什麽,並幹預改變它們的行為的能力。光遺傳學和神經探針是能夠在活體生物中進行測量和幹預的技術,一些非常先進的方法 (如分子計時器來讀取大量單個神經元的發放模式) 也已被 提出 並在原則上似乎是可能的。

  • 先進的計算神經科學 。如上所述,現代 AI 的具體洞見和 整體思路 可能都能夠有效地套用於 系統神經科學 的問題,包括可能揭示精神病或情緒障礙等復雜疾病的真正原因和動態。

  • 行為幹預 。考慮到對神經科學生物學方面的關註,我沒有太多提到,但精神病學和心理學在20世紀當然已經開發了 廣泛的行為幹預repertoire ;可以推理,AI 也可以加速這些,包括新方法的開發和幫助患者堅持現有方法。更廣泛地說,一個總是幫助你成為最好的自己、研究你的互動並幫助你學會更有效的"AI 教練"的想法似乎很有前途。

  • 我的猜測是,這四條進展路線共同努力,即使不涉及 AI,也將像身體疾病一樣,在未來100年內有望治愈或預防大多數精神疾病 - 因此可能會在5-10年的 AI 加速年內合理完成。具體來說,我猜測將發生的情況是這樣的:

  • 大多數精神疾病可能可以被治愈 。我不是精神病學疾病的專家 (我在神經科學領域的時間用於構建探針來研究小群神經元),但我猜測像 PTSD、抑郁癥、精神分裂癥、成癮等疾病可以透過上述四個方向的某種組合得到解決和非常有效的治療。答案可能是"生物化學上出了問題" (雖然可能非常復雜) 和"神經網絡在高層次上出了問題"的某種組合。也就是說,這是一個系統神經科學問題 - 盡管這並不否認上面討論的行為幹預的影響。測量和幹預的工具,特別是在活人身上,似乎可能導致快速叠代和進展。

  • 非常"結構性"的條件可能更難,但並非不可能 。有 一些證據 表明,精神病與明顯的神經解剖學差異有關 - 精神病患者的一些腦區simply更小或發育不良。精神病患者也被認為從小就缺乏empathy;無論他們的大腦有什麽不同,可能一直如此。這可能也適用於一些智力障礙,也許還有其他條件。重構大腦聽起來很難,但它也似乎是一項對智力回報高的任務。也許有某種方法可以誘導成年大腦進入更早或更具可塑性的狀態,在那裏它可以被重塑。我非常不確定這有多可能,但我的直覺是對 AI 在這裏可以發明的東西持樂觀態度。

  • 有效地透過基因預防精神疾病似乎是可能的 。大多數精神疾病是 部份遺傳的 ,全基因組關聯研究在辨識相關因素方面 開始取得進展 ,這些因素通常數量很多。透過胚胎篩選可能預防大多數這些疾病,類似於身體疾病的story。一個不同之處是,精神病更可能是多基因的 (許多基因貢獻),因此由於復雜性,存在unknowingly選擇against 與疾病相關的積極特征 的風險增加。奇怪的是,近年來 GWAS 研究似乎表明,這些 相關性可能被誇大了 。無論如何,AI 加速的神經科學可能幫助我們弄清楚這些事情。當然,對復雜特征進行胚胎篩選會引起一些社會問題並引起爭議,盡管我猜大多數人會支持篩查嚴重或致殘的精神疾病。

  • 我們不認為是臨床疾病的日常問題也將得到解決 。我們大多數人都有日常心理問題,通常不被認為達到臨床疾病的水平。有些人容易生氣,有些人難以集中註意力或經常昏昏欲睡,有些人害怕或焦慮,或對變化反應不好。今天,已經存在一些藥物來幫助提高警覺性或註意力 (咖啡因、莫達非尼、利他能),但與許多其他以前的領域一樣,可能還有更多可能。可能還存在許多尚未發現的此類藥物,也可能存在完全新的幹預方式,如靶向光刺激 (見上面的光遺傳學) 或磁場。考慮到我們在20世紀開發了多少調節認知功能和情緒狀態的藥物,我對"壓縮的21世紀"非常樂觀,在那裏每個人都可以讓自己的大腦表現得更好一些,並擁有更充實的日常體驗。

  • 人類基線體驗可以更好 。更進一步,許多人經歷過非凡的啟示、創造性靈感、同情、fulfillment、超越、愛、美或冥想平靜的時刻。這些體驗的特征和頻率因人而異,同一個人在不同時間也有很大差異,有時也可以由各種藥物觸發 (盡管往往伴有副作用)。所有這些都表明,"可能體驗的空間"非常廣泛,人們生活中可以包含更大比例的這些非凡時刻。可能也可以全面提高各種認知功能。這也許是"生物自由"或"延長壽命"的神經科學版本。

  • 一個經常在 AI 的科幻描述中出現的話題,但我在這裏故意沒有討論的,是"大腦上傳",即捕捉人類大腦的模式和動態並在軟件中例項化它們的想法。這個話題本身就可以成為一篇文章的主題,但簡單地說,

    雖然我認為上傳在原則上幾乎肯定是 可能的 ,但在實踐中,即使有強大的 AI,它也面臨著重大的技術和社會挑戰,這可能使它超出我們正在討論的5-10年視窗。

    總之,AI 加速的神經科學可能會大大改善大多數精神疾病的治療,甚至治愈它們,並極大地擴充套件"認知和心理自由"以及人類的認知和情感能力。它將與前一節描述的身體健康改善一樣徹底。也許從外部看,世界不會有明顯的不同,但人類體驗的世界將是一個更好、更人道的地方,同時也是一個提供更多自我實作機會的地方。我還懷疑,改善心理健康將減輕許多其他社會問題,包括那些看似政治或經濟的問題。

    3. 經濟發展與貧困問題

    前兩節討論了 開發 新技術來治愈疾病和提高人類生活質素。然而,從人道主義角度來看,一個顯而易見的問題是:"這些技術能惠及所有人嗎?"

    開發出治愈疾病的方法是一回事,而從全球範圍內根除疾病則是另一回事。更廣泛地說,許多現有的健康幹預措施尚未在全球範圍內得到套用,同樣的情況也適用於一般的(非健康)技術進步。換句話說,世界上許多地方的生活水平仍然極度貧困:根據世界銀行數據,撒哈拉以南非洲的 人均 GDP 約為 2,000 美元,而美國約為 75,000 美元。如果人工智能 (AI) 進一步提高了已開發國家的經濟增長和生活質素,卻對發展中國家幾乎沒有幫助,我們應該將其視為一個嚴重的道德失敗,這將玷汙前兩節中提到的真正的人道主義成就。理想情況下,強大的 AI 應該幫助發展中國家 趕上 已開發國家,同時推動後者的革新。

    我對 AI 能解決不平等和促進經濟增長的信心,不如它能發明基礎技術那麽強。這是因為技術對智能有明顯的高回報(包括繞過復雜性和數據缺乏的能力),而經濟涉及許多來自人類的約束,以及大量的內在復雜性。我有些懷疑 AI 是否能解決著名的"[社會主義計算問題]( https://en.wikipedia.org/wiki/Socialist_calculation_debate#:~:text=The socialist calculation debate, sometimes,of the means of production.) " 23 。我不認為政府會(或應該)將其經濟政策交給這樣一個實體,即使它能做到。還有一些問題,比如如何說服人們接受有效但他們可能懷疑的治療方法。

    發展中國家面臨的挑戰因公私部門的 普遍腐敗 而變得更加復雜。腐敗造成惡性迴圈:它 加劇貧困 ,而貧困反過來又滋生更多腐敗。AI 驅動的經濟發展計劃需要應對腐敗、薄弱的制度和其他非常人性化的挑戰。

    盡管如此,我確實看到了一些樂觀的理由。疾病 已經 被根除,許多國家 已經 從貧窮變得富裕,很明顯,這些任務中涉及的決策對智能有高回報(盡管存在人類的約束和復雜性)。因此,AI 可能比當前做得更好。也可能有一些針對性的幹預措施可以繞過人類的約束,AI 可以專註於這些。更重要的是,我們 必須 嘗試。AI 公司和已開發國家的政策制定者都需要盡自己的一份力,確保發展中國家不被排除在外;這是一個重大的道德責任。因此,在本節中,我將繼續提出樂觀的觀點,但請記住,成功並不是有保證的,需要我們共同努力。

    以下是我對強大 AI 開發後 5-10 年內發展中國家可能發生的情況的一些猜測:

  • 健康幹預措施的普及 。我最樂觀的領域可能是在全球範圍內普及健康幹預措施。事實上,一些疾病已經透過自上而下的運動被根除:天花在 20 世紀 70 年代 被完全消除 ,脊髓灰質炎和麥地那龍線蟲病每年的病例不到 100 例,幾乎被根除。 數學上復雜的流行病學建模 在疾病根除運動中發揮著積極作用,智能超過人類的 AI 系統很可能能夠比人類做得更好。分配的物流也可能得到極大的最佳化。作為 GiveWell (一個評估慈善機構效果的組織)的早期捐助者,我了解到一些健康慈善機構比其他機構更有效;我們希望 AI 加速的努力會更加有效。此外,一些生物學進展實際上使分配的物流變得更加容易:例如,瘧疾一直難以根除,因為它需要每次感染時進行治療;只需要接種一次的疫苗使物流變得更加簡單(事實上,這種瘧疾疫苗 目前正在開發中 )。甚至可能有更簡單的分配機制:原則上,一些疾病可以透過針對其動物載體來根除,例如釋放被感染了 阻止其攜帶疾病能力 的細菌的蚊子(然後感染所有其他蚊子),或者簡單地使用 基因驅動 技術來消滅蚊子。這需要一個或幾個集中的行動,而不是必須單獨處理數百萬人的協調運動。總的來說,我認為 5-10 年是一個合理的時間表,可以讓相當大一部份(可能 50%)的 AI 驅動的健康益處傳播到世界上最貧窮的國家。一個好的目標可能是,在強大 AI 出現 5-10 年後,發展中國家至少在健康方面比今天的已開發國家有實質性改善,即使它繼續落後於已開發國家。當然,實作這一目標將需要在全球健康、慈善、政治倡導和許多其他方面付出巨大努力,AI 開發者和政策制定者都應該提供幫助。

  • 經濟增長 。發展中國家能否快速趕上已開發國家,不僅在健康方面,而且在整個經濟領域?這方面有一些先例:在 20 世紀的最後幾十年, 幾個東亞經濟體 (被稱為"亞洲四小龍")實作了持續約 10% 的年度實際 GDP 增長率,使他們能夠趕上發達世界。人類經濟規劃者做出了導致這一成功的決策,不是透過直接控制整個經濟,而是透過拉動幾個關鍵杠桿(如以出口為導向的增長的產業政策,以及抵制依賴自然資源財富的誘惑);"AI 財政部長和中央銀行家"可能復制或超過這 10% 的成就是可信的。一個重要的問題是如何讓發展中國家政府在尊重自決原則的同時采用它們 - 一些可能會熱情接受,但其他可能會持懷疑態度。樂觀的一面是,前面提到的許多健康幹預措施可能會自然地促進經濟增長:根除愛滋病、瘧疾和寄生蟲病將對生產力產生變革性影響,更不用說一些神經科學幹預措施(如改善情緒和註意力)在已開發國家和發展中國家都會帶來的經濟效益。最後,非健康領域的 AI 加速技術(如能源技術、運輸無人機、改進的建築材料、更好的物流和分配等)可能會自然地滲透到世界各地;例如,即使是手機也透過市場機制快速滲透到撒哈拉以南非洲,而不需要慈善努力。在更負面的一面,雖然 AI 和自動化有許多潛在的好處,但它們也給經濟發展帶來了挑戰,特別是對那些尚未工業化的國家。找到確保這些國家在自動化日益增加的時代仍能發展和改善經濟的方法,是經濟學家和政策制定者需要解決的一個重要挑戰。總的來說,一個理想的情景 - 可能是一個值得追求的目標 - 是發展中國家每年 20% 的 GDP 增長率,其中 10% 來自 AI 支持的經濟決策,10% 來自 AI 加速技術的自然傳播,包括但不限於健康領域。如果實作,這將使撒哈拉以南非洲在 5-10 年內達到中國目前的人均 GDP 水平,同時將大部份其他發展中國家提高到高於目前美國 GDP 的水平。再次強調,這是一個理想情景,不是預設發生的:這是我們所有人必須共同努力使之更有可能實作的目標。

  • 糧食安全 24 。作物技術的進步,如更好的肥料和農藥、更多的自動化和更有效的土地利用,大大提高了整個 20 世紀的 作物產量 ,使數百萬人免於饑餓。基因工程 目前正在改進 許多作物。找到更多方法來做到這一點 - 以及使農業供應鏈更加高效 - 可能會給我們帶來 AI 驅動的第二次 綠色革命 ,幫助縮小發展中國家和已開發國家之間的差距。

  • 減緩氣候變遷 。氣候變遷在發展中國家的影響將更加強烈,阻礙其發展。我們可以預期 AI 將帶來減緩或防止氣候變遷的技術改進,從大氣 碳移除 和清潔能源技術到 實驗室培育肉 ,減少我們對碳密集型工廠養殖的依賴。當然,如上所述,技術並不是限制氣候變遷進展的唯一因素 - 與本文討論的所有其他問題一樣,人類社會因素很重要。但有充分理由認為,AI 增強的研究將為我們提供使減緩氣候變遷的成本和破壞性大大降低的手段,使許多反對意見變得毫無意義,並釋放發展中國家進行更多經濟進步的空間。

  • 國家內部的不平等 。我主要討論了不平等作為一個全球現象(我確實認為這是它最重要的表現),但當然不平等也存在於 國家內部 。隨著先進的健康幹預措施,尤其是壽命的大幅增加或認知增強藥物,肯定會有人擔心這些技術"只為富人服務"。我對已開發國家內部的不平等更加樂觀,有兩個原因。首先,市場在已開發國家運作得更好,市場通常善於隨著時間的推移降低高成本技術的價值。其次,已開發國家的政治制度對公民更加負責,並且有更大的國家能力來執行普及獲取計劃 - 我預計公民會要求獲得如此大幅改善生活質素的技術。當然,這種要求的成功並不是預定的 - 這裏是我們集體必須盡一切努力確保公平社會的另一個地方。 財富 不平等(與獲取拯救生命和提高生命質素的技術的不平等相對)是一個單獨的問題,似乎更難解決,我在第 5 節討論了這個問題。 25

  • 選擇結束問題 。在已開發國家和發展中國家,一個同樣令人擔憂的問題是人們 選擇結束 AI 支持的益處(類似於反疫苗運動,或更普遍的盧德主義運動)。可能會出現糟糕的反饋迴圈,例如,那些最不能做出良好決策的人選擇結束改善他們決策能力的技術,導致差距不斷擴大,甚至創造出一個反烏托邦的底層階級(一些研究人員認為這將 破壞民主 ,我在下一節進一步討論這個主題)。這將再次給 AI 的積極進步蒙上道德汙點。這是一個難以解決的問題,因為我不認為在道德上強迫人們是正確的,但我們至少可以嘗試增加人們的科學理解 - 也許 AI 本身可以幫助我們做到這一點。一個令人希望的跡象是,歷史上反技術運動的聲音大於行動:反對現代技術很流行,但最終大多數人都會采用它,至少在個人選擇的情況下是這樣。個人傾向於采用大多數健康和消費技術,而真正受阻的技術,如核能,往往是集體政治決策。

  • 總的來說,我對快速將 AI 的生物學進展帶給發展中國家的人們持樂觀態度。我希望,盡管並不確定,AI 也能實作前所未有的經濟增長率,並讓發展中國家至少超越已開發國家現在的水平。我擔心已開發國家和發展中國家的"選擇結束"問題,但懷疑這種情況會隨著時間的推移而消失,AI 可以幫助加速這一過程。這不會是一個完美的世界,落後的人不會完全趕上,至少在最初的幾年裏不會。但透過我們的努力,我們可能能夠讓事情朝著正確的方向發展 - 而且速度很快。如果我們這樣做,我們至少可以兌現我們對地球上每個人應盡的尊嚴和平等的承諾。

    4. 和平與治理

    假設前三節中的一切都進展順利:疾病、貧困和不平等顯著減少,人類生活質素得到大幅提升。但這並不意味著所有主要的人類苦難都得到解決。人類仍然是彼此的威脅。盡管技術進步和經濟發展有助於促進民主和和平,但這種趨勢並不穩定,經常出現倒退,最近也不例外。

    20世紀初,人們以為戰爭已成為歷史,然而隨之而來的是兩次世界大戰。30年前,Francis Fukuyama 提出了"歷史的終結"和自由民主的最終勝利;但現實並非如此。20年前,美國決策者認為與中國的自由貿易會促進中國的自由化;然而事實證明這完全是一廂情願,我們現在似乎正走向與一個復興的威權主義集團的第二次冷戰。

    更令人擔憂的是,有理論表明,互聯網技術可能實際上有利於威權主義,而非最初預期的民主(如 "阿拉伯之春" 時期所期望的那樣)。因此,我們必須深入思考:強大的人工智能 (AI) 將如何影響和平、民主和自由這些關鍵問題。
    遺憾的是,我並不認為 AI 會自然而然地推動民主和和平,就像它可能在結構上推進人類健康和減少貧困一樣。人類沖突是對抗性的,AI 原則上可以幫助 "好人" 也可以幫助 "壞人"。事實上,一些結構性因素令人擔憂:AI 很可能會改進宣傳和監視技術,這兩者都是獨裁者工具箱中的主要工具。
    因此,如果我們希望 AI 有利於民主和個人權利,我們必須主動爭取這一結果。我對此的感受比對國際不平等問題更加強烈:自由民主的勝利和政治穩定並非必然,甚至可能性不大。這需要我們所有人做出巨大的犧牲和承諾,就像歷史上多次發生的那樣。
    我認為這個問題可以分為兩個方面:國際沖突和國家內部結構。在國際方面,當強大的 AI 被創造出來時,民主國家在世界舞台上占據上風至關重要。AI 驅動的威權主義令人不寒而栗,因此民主國家需要能夠主導強大 AI 被引入世界的方式,既要避免被威權主義者壓倒,又要防止威權國家內部的人權侵犯。

    我目前認為最佳策略是采用 "協商一致策略" [26]。在這種策略中,民主國家聯盟尋求在強大的 AI 上獲得明顯優勢(即使只是暫時的)。具體做法包括確保 AI 供應鏈安全,快速擴大 AI 套用規模,並阻止或延緩對手獲取關鍵資源,如芯片和半導體器材。

    這個聯盟將采取雙管齊下的方法:一方面利用 AI 實作強大的軍事優勢(大棒),同時提供分享強大 AI 好處的機會(胡蘿蔔)給越來越多的國家,以換取它們支持聯盟推進民主的戰略。這有點類似於歷史上的 "和平利用原子能" 計劃。聯盟的目標是獲得越來越多國家的支持,孤立最頑固的對手,最終使這些對手別無選擇,只能接受與世界其他國家相同的條件:放棄與民主國家競爭,以獲得所有好處,而不是與一個優勢明顯的對手作戰。

    如果我們能實作這一切,我們將創造一個民主國家引領世界的局面。在這個世界裏,民主國家擁有足夠的經濟和軍事實力,能夠抵禦威權政體的破壞、征服或破壞,並可能將他們的 AI 優勢轉化為持久的優勢。這可能樂觀地導向一個 "永恒的 1991 年" 的局面——一個民主國家占據主導地位,Fukuyama 的夢想得以實作的世界。

    然而,我必須再次強調,這將是一項艱巨的任務。它特別需要私營 AI 公司和民主政府之間的密切合作,以及在使用 "胡蘿蔔" 和 "大棒" 之間取得微妙平衡的智慧決策。
    即使國際局勢一切順利,我們仍然面臨每個國家內部民主與威權主義之間的鬥爭。雖然難以預測具體情況,但我對此持謹慎樂觀態度。在民主國家控制最強大 AI 的全球環境下,AI 可能在各地都會結構性地有利於民主發展。

    特別是,在這種環境下,民主政府可以利用他們優越的 AI 技術贏得資訊戰。他們可以有效地反制威權政體的影響和宣傳行動,甚至可能創造一個全球自由資訊環境。在這個環境中,威權政體將缺乏技術能力來阻止或監控資訊流動。重要的是,我們可能不需要主動傳播宣傳,只需要反制惡意攻擊並保證資訊自由流動。雖然這種變化不會立竿見影,但這樣的公平競爭環境很可能逐漸將全球治理推向民主,原因有以下幾點:

    首先,正如我們在前幾節中討論的生活質素提高,應該會在一定程度上促進民主。歷史上已經有這樣的先例。特別是,我預計心理健康、幸福感和教育水平的提高將增加對民主的支持,因為這些因素與對威權領導人的支持呈負相關。一般來說,當人們的基本需求得到滿足時,他們會更渴望自我表達,而民主恰恰是一種自我表達的形式。相反,威權主義往往在恐懼和怨恨的土壤中茁壯成長。

    其次,只要威權主義者無法進行有效審查,自由資訊流動確實有很大可能削弱威權主義。未經審查的 AI 可能為個人提供強大的工具來抵制壓制性政府。壓制性政府之所以能夠存續,往往是透過阻止人們獲得某種共同認知,防止他們意識到 "皇帝沒有穿衣服"。

    例如,曾幫助推翻塞爾維亞 Milošević 政府的 Srđa Popović 詳細描述了如何從心理上瓦解威權主義者的權力,打破他們施加的魔咒,並凝聚反對獨裁者的力量。設想一下,如果每個人的口袋裏都有一個超人類智能的 AI 版 Popović(這種技能似乎在 AI 加持下會有顯著提升),而且獨裁者無力阻止或審查它,這將為全世界的異議人士和改革者創造多麽有利的局面。
    我必須再次強調,這將是一場漫長而艱苦的鬥爭,勝利並非必然。但如果我們以正確的方式設計和構建 AI,它至少可能成為一種工具,使自由的倡導者在各地都占據優勢。

    除了防範威權主義,我們還應該思考如何讓民主國家變得更好。即使在民主國家,不公正的事情也時有發生。法治社會向其公民承諾,每個人在法律面前都是平等的,每個人都享有基本人權。但顯然,這些承諾在實踐中並不總能得到完全兌現。即使部份實作這些承諾也是值得驕傲的成就,但我們不

    要問:AI 能否幫助我們做得更好?

    例如,AI 能否透過提高決策和流程的公正性來改善我們的法律和司法系統?目前,人們在法律或司法環境中主要擔心 AI 系統可能成為新的歧視源頭,這些擔憂確實很重要,需要認真對待。但同時,民主的活力取決於我們能否利用新技術來改善民主制度,而不僅僅是應對風險。一個真正成熟和成功的 AI 系統有潛力減少偏見,為每個人提供更加公平的對待。

    幾個世紀以來,法律系統一直面臨著一個困境:法律旨在保持公正,但本質上是主觀的,因此必須由可能存在偏見的人來解釋。試圖使法律完全機械化並不奏效,因為現實世界是復雜的,不能總是用簡單的數學公式來描述。因此,法律系統不得不依賴一些不夠精確的標準,如 "殘酷和不尋常的懲罰" 或 "完全沒有社會價值",然後由人類來解釋——而這種解釋往往會表現出偏見、偏袒或隨意性。
    加密貨幣中的 "智能合約" 之所以沒有徹底革新法律,是因為普通的程式碼不夠智能,無法處理太多復雜的情況。但 AI 可能足夠聰明來應對這種挑戰:它是第一個能夠以可重復和系統的方式對復雜、模糊的情況做出判斷的技術。

    我並不是建議用 AI 系統完全取代法官,但將 AI 的公正性與理解和處理復雜現實世界情況的能力相結合,可能會對法律和司法產生積極影響。至少,這樣的系統可以作為決策輔助工具與人類法官一起工作。在任何這樣的系統中,透明度都至關重要。隨著 AI 科學的成熟,我們可以期待:這些系統的訓練過程可以得到廣泛研究,先進的可解釋性技術可以用來深入了解模型的內部運作,評估是否存在隱藏的偏見——這是對人類決策者很難做到的。這樣的 AI 工具還可以用來監控司法或執法過程中是否存在侵犯基本權利的行為,使憲法更具自我執行力。

    同樣,AI 可以用來匯總不同意見,推動公民之間達成共識,解決沖突,尋找共同點,促進妥協。計算民主專案已經在這個方向上進行了一些初步嘗試,包括與 Anthropic 公司的合作。一個更加知情和深思熟慮的公民群體顯然會增強民主制度的力量。

    AI 還有一個明顯的套用領域,那就是幫助提供政府服務。這些服務原則上應該惠及每個人,但實際上往往存在嚴重不足,而且在某些地方比其他地方更糟糕。這包括健康服務、機動車管理、稅收、社會保障、建築規範執行等。想象一下,如果每個人都能獲得一個非常周到和知情的 AI 助手,它能以你能理解的方式告訴你所有你在法律上有權從政府那裏得到的服務,並幫助你遵守那些往往令人困惑的政府規定——這將是一個巨大的進步。

    增強國家提供服務的能力不僅有助於實作法律面前人人平等的承諾,還能增強公民對民主治理的信心和尊重。目前,政府服務質素低下是導致公民對政府產生犬儒主義態度的主要原因之一 [27]。
    所有這些想法都還比較模糊,正如我在本節開頭所說,我對它們的可行性的信心遠不如對生物學、神經科學和減少貧困的進展。它們可能看起來像是不切實際的烏托邦。但重要的是要有一個雄心勃勃的願景,敢於夢想並勇於嘗試。將 AI 視為自由、個人權利和法律面前平等的守護者,這個願景太過強大,值得我們為之奮鬥。

    21世紀,在 AI 的支持下,我們有機會創造一種新型的政治體制。這種體制可能成為個人自由更強有力的保護者,也可能成為一盞希望的燈塔,激勵全世界都想采用真正的自由民主制度。這是一個宏大的目標,但也是一個值得我們為之奮鬥的目標。

    5. 工作與人生意義

    即使前面四個部份的一切都進展順利——我們不僅緩解了疾病、消除了貧困和縮小了差距,而且自由民主制度成為了主流政體,現有的民主國家也變得更加完善——至少還有一個重要問題仍然存在。有人可能會質疑:"我們生活在這樣一個技術先進且公平正義的世界固然很好,但是當 AI (人工智能) 包攬一切時,人類如何找到人生的意義呢?更現實地說,人類如何維持生計?"

    我認為這個問題比其他問題更加棘手。並非說我對此必然比對其他問題更悲觀 (盡管我確實看到了挑戰),而是因為它更加模糊,更難提前預測。這涉及到社會如何組織的宏觀問題,這類問題往往只能隨著時間推移,以分散的方式逐步解決。舉個例子,歷史上的狩獵采集社會 (hunter-gatherer societies) 可能會認為,沒有狩獵和與之相關的各種宗教儀式,生活就毫無意義,他們可能會覺得我們這個衣食無憂的技術社會是毫無目標的。他們也可能無法理解我們的經濟如何能夠養活所有人,或者人們在一個高度自動化的社會中能夠發揮什麽作用。

    盡管如此,對這個問題說幾句話還是值得的。同時要記住,這一部份的簡短絕不意味著我不重視這些問題——恰恰相反,這反映了我們目前缺乏明確答案。

    關於意義的問題,我認為僅僅因為 AI 可以做得更好就認為自己承擔的任務毫無意義,這很可能是一個錯誤的想法。大多數人並不是世界上任何事情的最佳,這似乎並不特別困擾他們。當然,如今人們仍然可以透過比較優勢 (comparative advantage) 做出貢獻,並可能從他們創造的經濟價值中獲得意義感,但人們也非常享受那些不產生經濟價值的活動。我自己就花了大量時間玩電子遊戲、遊泳、戶外散步和與朋友聊天,所有這些都不會產生經濟價值。我可能會花一整天時間試圖提高自己在某個影片遊戲中的水平,或者提高騎單車上山的速度,而我並不真的在意世界上某個地方有人在這些事情上比我強得多。無論如何,我認為人生的意義主要來自人際關系和社交聯系,而不是來自經濟勞動。人們確實渴望成就感,甚至是競爭感,在後 AI 時代,花幾年時間嘗試一些非常困難的任務並制定復雜的策略仍然是完全可能的,這類似於今天人們開始研究專案、嘗試成為好萊塢演員或創辦公司時所做的事情 [28]。事實上,即便某處的 AI 原則上可以更好地完成這些任務,即便這些任務不再是全球經濟中能夠獲得經濟回報的活動,這些似乎都不那麽重要。

    在我看來,經濟問題實際上比意義問題更加棘手。這裏所說的"經濟"問題,指的是在一個足夠先進的 AI 驅動經濟中,大多數或所有人類可能無法做出有意義貢獻的潛在問題。這是一個更宏觀的問題,不同於我在第 3 節討論的不平等問題,特別是獲取新技術機會的不平等問題。

    首先,就短期而言,我同意比較優勢理論的觀點,即這將繼續保持人類的相關性並實際上提高他們的生產力,甚至可能在某些方面使人類之間的競爭環境變得更加公平。只要 AI 只在某項工作的 90% 方面表現更好,剩下的 10% 將使人類的作用得到極大發揮,提高薪酬,實際上創造出一批新的人類工作來補充和放大 AI 擅長的領域,使得這個"10%"擴大到繼續雇用幾乎所有人。事實上,即使 AI 可以在所有方面都比人類做得更好,但如果它在某些任務上仍然效率低下或成本高昂,或者如果人類和 AI 的資源投入有明顯不同,那麽比較優勢的邏輯仍然適用。在相當長一段時間內,人類可能在物理世界中保持相對 (甚至絕對) 優勢。因此,我認為即使在我們達到"數據中心裏的天才國度"(即 AI 能夠執行大多數智力任務) 之後的一段時間,人類經濟可能仍然是有意義的。

    然而,我確實認為從長遠來看,AI 將變得如此廣泛有效和廉價,以至於這種情況將不再適用。到那時,我們當前的經濟模式將不再有意義,需要進行更廣泛的社會對話,討論經濟應該如何重新組織。

    雖然這可能聽起來很瘋狂,但事實是,人類文明在過去已經成功地度過了幾次重大的經濟轉型:從狩獵采集到農業,從農業到封建制,從封建制到工業化。

    我懷疑需要一些新的、更奇怪的東西,而這是今天沒有人做得很好的設想。它可能簡單到為每個人提供大規模的全民基本收入,盡管我懷疑這只會是解決方案的一小部份。它可能是 AI 系統的資本主義經濟,然後根據某種次級經濟 (基於 AI 系統認為在人類中有意義獎勵的判斷,最終源於人類價值觀) 向人類分配資源 (大量資源,因為總體經濟蛋糕將會巨大)。

    也許經濟執行在 Whuffie 積分上。或者也許人類最終仍將具有經濟價值,以某種通常經濟模型未預料到的方式。所有這些解決方案都有大量可能的問題,沒有大量的叠代和實驗就不可能知道它們是否合理。而且與其他一些挑戰一樣,我們可能必須努力爭取獲得一個好的結果:剝削性或反烏托邦的方向顯然也是可能的,必須加以阻止。關於這些問題可以寫更多內容,我希望在以後的某個時候這樣做。

    總結與展望

    透過上述各種主題的探討,我試圖描繪出一幅世界願景。這個願景在人工智能 (AI) 一切順利發展的情況下是可能實作的,而且會比當今世界好得多。我不確定這個世界是否能夠真正實作,即使可以實作,也需要許多勇敢和富有奉獻精神的人付出巨大努力和不懈奮鬥。每個人 (包括 AI 公司!) 都需要盡自己的一份力量,既要防範風險,又要充分實作 AI 帶來的利益。

    但這是一個值得為之奮鬥的世界。如果這一切真的在 5 到 10 年內發生 —— 戰勝大多數疾病,生物和認知自由的增長,讓數十億人擺脫貧困並共享新技術,自由民主和人權的復興 —— 我相信每個見證這一切的人都會對它產生的影響感到驚訝。我指的不僅是親身體驗所有新技術帶來的好處,盡管那肯定會讓人驚嘆。我更多地是指親眼目睹一套長期以來的理想同時在我們面前實作的體驗。我認為許多人會被這一幕感動得流下熱淚。

    在寫這篇文章的過程中,我註意到一個有趣的矛盾。從某種意義上說,這裏描繪的願景是極其激進的:這不是幾乎任何人都期望在未來十年內發生的事情,很可能會被許多人認為是一個荒謬的幻想。有些人甚至可能不認為它是可取的;它體現了並非每個人都認同的價值觀和政治選擇。但與此同時,這又有一種顯而易見的合理性 —— 一種必然性 —— 仿佛許多不同的嘗試設想一個美好世界最終都會大致指向這裏。

    在 Iain M. Banks 的【遊戲玩家】 The Player of Games [ 29 ] 中,主人公是一個名為"文化"的社會的成員,該社會基於與我在這裏描述的原則相似的理念。他前往一個專制的、軍國主義的帝國,在那裏,領導權由復雜戰鬥遊戲的競爭決定。然而,這個遊戲復雜到玩家在遊戲中的策略往往反映了他們自己的政治和哲學觀點。主人公成功擊敗了皇帝,表明他的價值觀 (文化的價值觀) 即使在一個由基於無情競爭和適者生存的社會設計的遊戲中也代表了一種制勝策略。Scott Alexander 的 一篇著名文章 也有相同的論點 —— 競爭是自我挫敗的,並傾向於導向一個基於同情和合作的社會。" 道德宇宙的弧線 "是另一個類似的概念。

    我認為文化的價值觀是一種制勝策略,因為它們是無數小決定的總和,這些決定具有明確的道德力量,並傾向於將每個人團結到同一陣營。基本的人類公平、合作、好奇心和自主性的直覺很難反駁,並且以一種我們更具破壞性的沖動往往不具備的方式累積。很容易主張如果我們能夠預防,兒童就不應該死於疾病,從那裏很容易進一步主張 每個人的 孩子都平等地擁有這項權利。從那裏不難認為我們應該共同努力,運用我們的智慧來實作這一目標。很少有人不同意應該懲罰那些無端攻擊或傷害他人的人,從那裏到認為懲罰應該在人與人之間保持一致和系統性也不是一個很大的飛躍。人們應該對自己的生活和選擇擁有自主權和責任,這同樣直觀。這些簡單的直覺,如果推到邏輯結論,最終會導向法治、民主和啟蒙價值觀。如果不是必然,那麽至少作為一種統計趨勢,這就是人類已經前進的方向。AI 只是提供了一個機會,讓我們更快地到達那裏 —— 使邏輯更加明晰,目的地更加清晰。

    盡管如此,這是一件具有超越性美的事物。我們有機會在使它成為現實的過程中發揮一些微小但重要的作用。

    來源: https://darioamodei.com/machines-of-loving-grace