陳永偉/文 奇異點：從科幻到現實
在經歷了兩年的「跳票」之後，雷·庫茲韋爾（Ray Kurzweil）的新書【奇異點更近】（The Singularity is Nearer）終於在六月底上市了。作為庫茲韋爾的書迷，我第一時間找來了新書的電子版，並一口氣將其讀完了。
在書中，庫茲韋爾向讀者展示了一個重要的經驗規律：資訊科技的發展速度按指數規律進行。按照這一速度，人們處理資訊的技術能力每年都在翻番。作為資訊科技的最典型代表，人工智能（Artificial Inteligence，以下簡稱AI）的發展更是令人驚嘆。根據這個趨勢，在2029年之前，AI將會在所有任務上都超越人類，通用人工智能（Artificial General Inteligence，簡稱AGI）將會全面實作。在AI技術率先取得突破之後，它將可以賦能很多領域，並助力它們實作快速的發展。由此，在5到10年內，人類就有望實作「長壽逃逸速度」（Longevity Escape Velocity），到時候人們雖然還會繼續老去，但由於醫療技術的改進，他們的死亡風險卻不會隨著年齡而增加。借助於紅血球大小的納米機器人，人們將可以直接在分子層面殺滅病毒及癌細胞，從而解決大量困擾人類的疾病，人類的預期壽命將會因此而大幅增長。不僅如此，納米機器人還有望透過毛細血管無創地進入人類的大腦。它們將和雲端托管的其他數碼神經元一起，將人類的智能水平提到一個更高的水平。透過這種方式，人類的思考能力、記憶水平糊問題處理能力將不再受到腦容量的限制，人的智能水平將會成千上萬倍地增長。在上述這一切發生之後，現在困擾人們的很多問題將會迎刃而解：更為廉價的能源將會被發現和使用，農業的效率將會大振幅提升，公共教育水平將會顯著改進，暴力事件將會大幅減少……總而言之，在2045年之前，人類將會邁過「奇異點」（Singularity），迎來一個與之前完全不同的新時代。
對於我這樣的老讀者來說，庫茲韋爾的這些觀點其實並不新奇。事實上，在2005年出版的【奇異點臨近】（The Sin-gularity is Near）一書中，他就對上述的幾乎所有觀點進行過詳細的討論，從這個意義上看，這次的新書只不過是新瓶裝舊酒而已。盡管如此，這次再讀到這些觀點，我的心境卻已和當初大不相同。十幾年前，當我讀到【奇異點臨近】時，更多只是將其視為一部科幻小說。雖然庫茲韋爾在書中用大量數據向人們展示這個世界的技術在按照指數速度增長，但包括我在內的很多人卻都對此報以高度的懷疑。
畢竟，從當時看，雖然互聯網技術正在經歷高速的增長，但它除了給人帶來了更多便利之外，似乎很難對人們的生活方式產生根本性的影響。與此同時，在符號主義的引領之下，曾被寄予厚望的AI領域則走入了死胡同，一時之間似乎很難看到可能的突破口。在這種條件下，說2029年AI的智能水平將全面超越人類，就幾乎如同天方夜譚。
神奇的是，後來的歷史發展走勢卻和庫茲韋爾的預言驚人地相似。就在【奇異點臨近】釋出後兩年，「深度學習革命」就引爆了AI領域的新一輪增長。不久之後，AI的能力就發展到了足以戰勝人類圍棋的頂尖高手、破解數以億計的蛋白質結構、幫助設計數十萬元件的電腦芯片的水平。而在2022年10月ChatGPT（聊天式人工智能程式）橫空出世之後，AI更是在短短一年多內掌握了交談、寫作、繪畫、影片制作等原本只有人才能掌握的技能。根據相關的研究，最新的AI模型已經在數百種任務中展現出了超越人類的能力。在這種情況下，關於2029年AI將要超越人類的預言不僅不再顯得激進，反而是顯得略顯保守了。事實上，很多專業人士都認為AGI的到來時間將會更早。比如，DeepMind(開發AlphaGo的人工智能公司)的創始人之一沙恩·萊格（ShaneLegg）認為AGI在2028年之前就可以實作；而特斯拉CEO埃隆·馬斯克（ElonMusk）則更是激進地認為人們在2025年就將迎來AGI。
不僅如此，包括納米機器人、腦機介面在內的眾多技術也正在如庫茲韋爾預言的那樣迅速發展。比如，在2023年1月，【自然·納米技術】雜誌上就報道了巴塞隆拿科學技術研究所的研究人員用納米機器人攜帶藥物對膀胱癌進行治療的研究。研究顯示，這種治療方法可以讓實驗鼠身上的腫瘤縮小90%。這一成功非常好地說明了庫茲韋爾所說的套用納米機器人來治療癌癥，從而延長人類生命的設想是完全可行的。又如，就在幾天之前，馬斯克宣布第二例腦機介面手術即將在幾天內進行，同時預測在幾年之內，將會有數千名患者將介面裝置植入大腦。雖然從目前看這項技術依然存在著很多的不足，但按照現在的發展速度，在不久的將來，人類透過腦機介面與電腦實作意念互動應當不是夢想。如果將納米技術和腦機介面這兩項「黑科技」結合起來，那麽實作庫茲韋爾所說的人機融合、智能倍增也將是完全可能的。基於以上理由，我們有理由相信，在2045年前實作「奇異點」在技術上正變得越來越可行。
然而，當人們邁過「奇異點」之後，真的能像庫茨維爾所預言的那樣，迎來一個前所未有的美好時代嗎？在我看來，這個問題的答案其實是不確定的。盡管包括庫茨維爾本人在內的技術樂觀主義者們可以舉出很多歷史的證據來證明至今為止的技術發展最終都促進了人類福祉的提升，但如果我們簡單地用這個規律來預測未來，或許會存在巨大的風險。畢竟，從人類歷史上看，沒有任何一項技術具有AI那樣的力量，一旦使用不當，其引發的風險將是難以設想的。
因此，要確保在「奇異點」之後我們迎來的會是一個美好的新時代，就需要在奇異點到來之前對人與技術、人與人，以及人與人類本質之間的關系進行全面的思考，並從中找出辦法，確保技術始終沿著有利於人類的方向發展。
當工作開始消亡
按照庫茨維爾的預測，現在距離AGI的到來還有大約五年的時間。盡管到目前為止，AI的智能水平尚未全面超越人類，但它確實已經在很多方面超越了人類的水平，這就引發了人們對於AI引發的技術性失業的空前關註。
從歷史的角度看，技術性失業並不是什麽新話題。從蒸汽機的發明，到電力的套用，再到互聯網的普及，都曾產生過顯著的「創造性淪陷」（CreativeDestruction）效應，導致大量基於舊技術的崗位消失，造成很多從事相關職業的人失業。不過，歷史上的這幾波技術性失業大多都是暫時性的。隨著新技術的普及，很多新的崗位會被創造出來。
誠然，到目前為止，AI對就業市場造成的沖擊尚不顯著，但這並不是說其風險並不存在。在預計AI未來可能造成的就業沖擊時，人們經常忽略了一個重要條件，即AI能力的提升可能是按照指數規律進行的。事實上，如果我們以2022年ChatGPT（人工智能對話程式）的問世作為節點，就不難發現AI在該節點之後的發展速度要遠遠快於節點之前。僅以互動這一項能力為例，在ChatGPT問世之前，人們花了數十年的時間才讓AI學會了自由和人對話；在ChatGPT問世之後，AI就在一年多的時間內實作了多模態的互動能力。從這個意義上看，完全按照線性的邏輯來外推AI能力在未來的增速，很可能會帶來十分嚴重的誤判。另外需要註意的是，在AI能力大振幅提升的同時，其使用成本還在大振幅降低。目前人們透過API呼叫AI模型的成本已經降到了幾乎為零。
這種效能的提升和成本的下降加在一起，就讓用AI替代人類不僅具有了技術上的可能性，而且具有的經濟上的可能性。實際上，如果我們多留意一下相關的科技新聞，就會發現在我們不註意的時候，AI其實已經悄悄替代了很多職業。值得註意的是，僅僅在十年之前，人們還認為AI只會替代那些程式化較強、重復性較高的工作，而對於那些更需要創意、更需要溝通技能的工作，AI則很難替代。但是，插畫師這個職業曾因工作時間自由，收入相對較高而備受年輕人的鐘愛，現在要用AI模型來完成插畫的話，則只需要幾百塊錢就可以不限量包月，還可以隨時根據需要重新修改。很顯然，在這樣的對比之下，大多數顧客都會選擇使用AI而非人類畫師，而廣大插畫師也會由於顧客的這種選擇而失去自己的工作。除了插畫師之外，包括轉譯、程式設計師、平面設計師等職業也在經受AI的嚴重沖擊。只不過這部份經受沖擊的人群在勞動力總體中的所占比例較低，所以人們的感受不太明顯而已。
那麽，這一輪AI換人所引發的技術性失業也會像以往那樣，僅靠市場的自發調節就能輕松度過嗎？對於這個問題，我的看法並沒有那麽樂觀。從根本上，一個社會是否可以較為平穩地度過技術性失業的浪潮，主要取決於兩點：一是遭受新技術沖擊的職業是否有大量就業人口。二是新技術在消滅舊有的就業機會時，能夠及時創造出較易上手的新職業。
但這一次，AI對就業市場的沖擊是完全不一樣的。一方面，此輪的AI沖擊不僅範圍上十分全面，而且時間上也十分密集。所謂範圍上的全面，指的是很多行業都同時受到了沖擊。不同於過去的專用型AI，新近面世的AI模型大多是通用型的。在實踐中，人們只要對這些模型進行稍許的微調就可以用它們來完成很多不同的任務。在這種情況下，AI的發展就可能同時對多種職業造成沖擊。而所謂時間上的密集，指的是AI在沖擊了一個職業之後，馬上就會沖擊另外一個職業。這種密集的沖擊不久失業者的再就業難度會大幅提升，還會嚴重打擊他們透過技能培訓實作再就業的信心。試想，如果一位插畫師剛剛被Midjourney（一種人工智能繪畫工具）搶走了飯碗，好不容易才學會了開車，成為了一名網約車司機，但不久後就又因無人汽車的興起而失去了工作，在這樣的情況下，他是否還有毅力繼續去學習新的技能，並且篤定AI在短時間內不會掌握這項技能呢？
因此，這一輪由AI帶來的技術性失業將可能和過去的歷次技術性失業都截然不同。如果接下去AI技術繼續按照指數增長，那麽純粹依靠市場的自發調節，恐怕很難再讓社會實作充分的就業。從政策的角度看，我們當然有很多方法去緩解AI對就業的沖擊，比如由政府出面提供更多求職中介服務和再就業培訓都可以幫助那些因AI而失業的人更快地找到新的工作。不過，如果AI的發展速度持續保持在一個較高的水平，那麽所有的這些努力充其量都只能起到暫時的效果。人類工作的消亡或許會是一個我們難以接受，但卻又不得不面對的未來。
拒斥「終產者」
考慮到我們現在腦機介面、納米機器人等技術的發展要落後於AI，那麽，至少在未來的十年內，用AI直接強化大腦恐怕還只能停留在設想層面。那麽，在這段時間裏，人們應該如何應對AI引發的技術性失業所引發的各種社會矛盾呢？
一些學者對此給出的解決方案是：對AI使用者征稅，並用得到的稅款發放全民基本收入（UniversalBasicIn－come，簡稱UBI）。 這樣，即使那些因AI沖擊而失業的人難以找到新的工作，他們也可以獲得基本的生活保障，不至於讓生活陷入困境。
不過，這個方案從提出開始，就備受爭議。比如，一些學者就認為，對AI這種新技術征稅，將會對其的發展造成很大的阻礙；另一些學者則認為，UBI的推行有可能鼓勵人們不勞而獲。
在我看來，推行AI稅和UBI的更大潛在阻力，其實是來自其對利益分配的影響。如我們所見，隨著AI的發展，一大批與AI相關的企業在短時間內出現了營收和市值的暴漲。以OpenAI為例，幾年前，它還是一個連年虧損，不名一錢的企業，但隨著GPT等模型的爆火，它迅速就成為了年營收數十億美元，估值近千億美元的企業。更不用說微軟、輝達等巨頭都借著AI的東風，讓其市值在一年多內膨脹了上萬億美元。可以預見，隨著AI技術的進一步發展，這種天量財富向少部份企業和個人集中的趨勢將可以繼續。
這會帶來什麽樣的後果？一個直接的後果是，整個社會的分化和隔閡將會更加嚴重。當AI的性價比足夠高後，普通勞動者就會像郝景芳的小說【北京折疊】中所說的那樣，連被剝削的價值也不存在了。在這種情況下，掌握AI和財富的富人們甚至將不願意和他們生活在同一個城市，由此，社會的隔閡和對立就會更加嚴重。
這還不是最可怕的。如果像庫茨維爾預言的那樣，在不久的將來，人類將可以透過納米技術從分子層面對自己進行改造，那麽那些掌握了更多財富的人就會率先讓自己實作「機械前進演化」。在此之後，富人相對於窮人的優勢就不僅僅會是更多的財富，在智力、體力等各個方面，他們都將對後者形成碾壓的態勢。而這種優勢又會反過來讓他們進一步助推財富的集中……劉慈欣曾在其小說【贍養人類】中對這種情況進行了想象。根據他的想象，在類似的趨勢之下，全社會的財富和權力都會被一個「終產者」壟斷，而其余所有人的命運都被其掌握。
如何讓AI對齊？
如果說技術性失業和分配問題都是人類曾多次遇到過的老問題在AI時代的重現，那麽下面我們要探討的就是「奇異點」臨近時的全新問題。
在所有的新問題中，最為突出的一個可能就是AI對齊（AIAlignment）問題。所謂AI對齊，簡而言之，就是確保AI能理解人類的規範和價值，懂得人類的意願和意圖，按照人類的意誌行事。從表面上看，這似乎並不是一件難事，畢竟AI的程式根本上都是由人設定的，人難道還會給其設定一個與自己利益相違背的目標嗎？但事實上，答案並沒有那麽簡單，原因有二：
一方面，人類在為AI設定行為目標和規範時，通常難以全面、正確地表述自己的利益關切，這就給AI違背人類利益留下了空間。比如，科學哲學家波斯特羅姆曾在其名作【超級智能】中提出過一個名為「宇宙回形針」的思想實驗。他假想人類制作了一個以回形針產量最大化為目標的AI，那麽它將會用盡一切方法來達成這個目標，甚至為了將更多的資源用於生產回形針，不惜消滅人類。這個思想實驗中，生產回形針這件事本身是符合人類利益的，但它最終的結果將可能嚴重損害人類利益。
另一方面，人類為了讓AI可以實作更高的效率，通常會給賦予它們很大的自我學習和改進空間，這就可能讓AI偏離原本設定的價值觀。比如，現在的不少AI智能體都允許其根據與環境及使用者的互動來不斷完善自己，在這種情況下，他就可能受到各種不良價值觀的影響，導致其目標與人類的根本利益相偏離。
特別是，隨著AGI的到來，AI會逐步從工具變成與人類能力相當，甚至能力全方位高於人類的個體，在這種情況下，AI利益與人類的不一致就會引發巨大的風險，【終結者】【黑客帝國】等影視作品中刻畫的黑暗未來就可能真正來臨。
正是為了防止這樣的情況出現，所以現在的AI對齊研究已經成為了AI領域中的顯學。在現階段，人們主要用兩種方法來實作AI對齊。一種是「人類反饋的強化學習」，即所謂的RLHF方法；另一種則是「憲法人工智能」，即所謂的CAI方法。在使用RLHF時，設計師會先用人工訓練一個規模較小的AI模型，透過訓練者對AI行為的持續反饋來實施強化學習，引導它的價值觀與設計者預期的價值觀相一致。然後，再用這個小模型充當「教練」，用強化學習來對更大規模的AI模型進行訓練。而在使用CAI方法時，設計者則會先設定一個AI模型必須要遵循的「憲法」，並根據「憲法」去生成各種場景下AI需要遵循的行為準則。然後，設計者用這些準則對AI模型生成的不同結果進行評判，看它們是否符合「憲法」的準則。對符合「憲法」的結果，給予相應獎勵；而對違背「憲法」的結果，則給予相應的處罰。
值得肯定的是，這兩種方法目前都取得了一定的成就，但它們的問題依然很大。比如，「深度學習之父」辛頓（GeoffreyHinton）最近就指出，這些方法都只能讓AI的行為看起來符合人們的利益，卻不能保證它們從價值觀層面完全和人保持一致。在這樣的情況下，人們就很難保證AI會在某些情況下做出背叛人類的事情。尤其是在AGI到來，AI的能力超越人類的時候，類似背叛的可能性將越來越高，由之產生的風險也會越來越大。
那麽，在這樣的情況下，應該如何進一步完善AI對齊工作呢？在我看來，我們需要的或許是一些思路上的轉變。從目前看，幾乎所有人都很自然地把AI對齊等同為了價值對齊，認為必須讓AI的價值觀和自己一致，才能讓它們始終服務於人類利益，但這一點顯然是相當困難的。但是，價值觀的一致真的是必需的嗎？或者我們可以換一個問題：在現實中，我們需要某個人按照我們的利益去完成某些工作，難道一定需要讓他在價值觀上和我們保持一致嗎？答案當然是否定的。在更多時候，我們其實只需要設計好一套好的規則，就可以引導價值觀和我們並不一致的人去達成我們希望的目標。舉例來說，假設我們要讓兩個自利的人去公平地分配一個蛋糕，如果我們想透過首先對齊價值觀的方式來達成這一目標，那麽這項工作就會無比困難。不過，我們大可不必這樣，只需要設計一個機制，讓一個人來切蛋糕，但卻讓另一個人負責分配，就可以非常容易地完成這項工作。這就啟發我們，其實在進行AI對齊時，也可以繞開價值觀這個難以破解的黑箱，直接從機制設計角度出發，去完成這些工作。令人欣慰的是，現在已經有一些研究者看到了這種對齊思路，並沿著這個方向取得了不少成就。
你是誰？我又是誰？
除了AI對齊問題之外，人們在「奇異點」臨近時必須面對的另一大難題是關於身份的辨識和認同。這個問題包括兩個方面，一是應該如何認識AI的身份，以及我們與AI的關系；二是如何重新認識我們自己的身份。
先看第一個問題。前幾年，如果你問一個人應該如何看待AI，那麽他多半會毫不猶豫地說，它只不過是我們的工具而已。其理由很簡單：從表現看，它們不太可能具備自主的意識，只能在人的控制下執行相關的任務。
但在ChatGPT等大語言模型出現後，情況就起了很大的變化。AI在與人的互動中的表現已經逐漸擺脫了原有的呆板，在和我們的對話中總是可以對答如流，甚至在一些情況下，它們已經可以主動揣測我們的心理，去預判我們的心理和行為。這不由得讓我們懷疑，它們究竟是不是已經有了自己的意識。或許有些電腦專家們會安慰我們，這不過是它根據預先設計好的模型在機械地回答這些問題，本質上不過是一堆0和1的加加減減。但是，正所謂「子非魚安知魚之樂」，誰又能保證在這種簡單的加減背後沒有蘊含著意識和思維呢？畢竟，即使拋開我們的大腦，用顯微鏡細細觀察，也只能看到一堆神經元在發送著各種電訊號，而看不到哪怕一個有靈魂的細胞。既然如此，我們又怎麽肯定眼前那個可以和我們自由交流的AI沒有演化出靈魂呢？
我想，在AGI到來之後，類似的問題會越來越突出。或許在不久後的某一天，【西部世界】中的仿生AI機器人就會出現在我們面前。它們所有的行為舉止都和我們一致，甚至預設的程式還會告訴它們自己就是人。當遭遇這樣的AI機器人，我們是否還能拍著胸脯說眼前的不過是我們創造的工具呢？
再看第二個問題。相比於AI的身份問題，人類自我的身份辨識和認同或許會是一個更為棘手的問題。
一方面，如前所述，隨著納米機器人和腦機介面技術的發展，人類將會掌握大幅修改自己身體的能力。未來，人們不僅有望用納米機器人幫助自己修復壞死的細胞，以延長自己的壽命，更可以直接依靠它們來擴充套件自己的智力和體力。起初，這種對人體的修改可能僅限於少數的一些細胞，這並不會對我們造成身份認同上的煩惱——就好像現在我們不會認為一個人安了假肢或安了假牙後，就不是他了一樣。但如果這種修改的過程一直持續，總有一天人們會把全身大部份，甚至全部的細胞都做了替換。這時，經典的「忒修斯之船」問題就又會出現在我們的面前：現在的「我」究竟還是過去的「我」嗎？
另一方面，隨著AI技術的發展，人們將會逐漸掌握將意識上傳雲端的能力——事實上，包括馬斯克在內的一些人已經在開始進行類似的努力了。假設在未來的某一天，技術真的發展到了足以讓這個意識和本人一樣思考，那麽這個意識究竟是否可以被視為人的意識呢？如果答案是肯定的，那麽它和意識的本尊又是什麽關系？進一步地，如果我們將這個意識安放到意識來源的複制體當中，那麽這個複制體和原本的人又是什麽關系？父子？兄弟？還是其他呢？
需要強調的是，身份辨識和認同問題絕不只是單純的哲學思辨議題。在現實中，它會關系到很多法律和倫理議題。比如，人類與AI的勞資關系應該如何處理？AI是否應該享有與人同等的權利？複制了我身體和意識的複制體是否可以擁有我的財產？如果身份問題不解決好，那麽這些問題都很難真正解決。
但迄今為止，人們依然沒有為上述問題找到確定的答案。為了進一步促進相關共識的形成，我們依然需要對這些問題進行公開、深入的討論。
