1.1. 我造不出的東西，我便不明白
1.1.1. 物理學家李察·費曼
1.2. 艾榮·霍蘭德
1.2.1. 他的發明中有一個很不尋常的機器人叫作Slugbot，這是一個能「吃」真正的鼻涕蟲的機器人，旨在用鼻涕蟲腐爛的身體產生動力
1.2.2. 其團隊造出了CRONOS，一個看起來相當可怕的人形機器人，頭部有一只獨眼，其解剖結構盡可能地符合人類的骨架
1.2.2.1. 其骨頭是用塑膠生產的，結構相當精巧，足以匹配人類的骨骼
1.2.3. 方法是模仿自然，其模仿的深入程度遠勝前人在機器人領域的種種嘗試
1.2.4. 所謂意識就是要讓機器人對外部世界形成自己的內部模型，這盡管是它自己想象中的現實，卻應該包括一套自身的模型
1.3. 自我意識也許才是走向人工意識覺醒的第一步
1.3.1. 當機器人開始覺得想象中的自己比現實中的自己更重要時，它的意識就覺醒了
1.3.2. 讓電腦發展出更為出色的自我意識，而這種雄心壯誌可以提高人工智能了解自己和自身行動的能力
1.4. 有意識的人工智能並不一定意味著有用的人工智能
1.5. 我們的眾多人工智能裏沒有什麽通才
1.5.1. 它們幾乎無一例外都是專家
1.5.2. 是非常狹窄領域的專家
1.6. 開發具有狹窄專業知識的人工智能更高效、更實用
1.6.1. 「通用人工智能」便是研究人員用來描述這種更強大的人工智能的術語
2. 模擬大腦
2.1. 美國的大腦計劃
2.1.1. 始於2013年
2.1.2. 由奧巴馬政府資助
2.1.3. 目的是透過先進的掃描和建模技術來推進神經科學以及對大腦疾病的理解
2.2. SpiNNaker
2.2.1. 英國電腦先驅史蒂夫·弗伯的心血結晶
2.2.2. 創造出來的一種全新電腦架構
2.2.2.1. 其靈感來自人腦
2.2.2.2. 如今被用於神經科學、機器人和電腦科學
2.2.3. 由一組專門模擬尖峰神經元的處理器組成
2.2.3.1. 每個處理器又由18個較小的處理器組成
2.2.3.1.1. 16個用於模擬神經元
2.2.3.1.2. 1個用於管理
2.2.3.1.3. 1個備用
2.2.3.2. 其巧妙的設計確保它們能與鄰近芯片上的同伴超高速通訊
2.3. 尖峰神經網絡
2.3.1. 與生物神經元具有更多的相似性
2.3.2. 尖峰神經元被輸入的尖峰啟用時，會彼此發射一串尖峰，將資訊編碼成隨時間推移的二進制開/關訊號
2.3.2.1. 意味著尖峰神經網絡與傳統的人工神經網絡相比，可能更適合處理隨時間變化的問題
2.3.3. 尖峰神經網絡需要繁重的計算來模擬真實的神經元
2.3.3.1. 需要SpiNNaker等專用硬件
2.3.4. 科學家目前也不清楚如何讓它們學習，因為傳統的反向傳播法在這裏並不適用
2.4. 朱利安·米勒開創了被稱為笛卡爾遺傳編程的前進演化方法，讓電腦得以改進其電子電路
2.4.1. 大多數神經網絡是為解決單一任務而訓練的，在用於解決其他任務之前必須重新訓練，而米勒創造出的人工大腦可以從少量的例子中學會解決多種任務
2.4.2. 在他手中前進演化出來的神經網絡會在學習過程中改變神經元的數量，並將同一神經元重復用於不同的問題
3. Transformer架構
3.1. Transformer架構可以算是近十年來神經網絡技術的最大突破，自2017年發表以來已迅速獲得越來越廣泛的套用
3.2. 可能會成為一統人工智能大部份領域的方法
3.2.1. 更擅長在很長的一個輸入序列裏找到和記住相距很遠的兩個單元之間的聯系
3.2.2. 還允許大規模並列的訓練
3.3. DeepMind團隊開發的GATO模型，既能打遊戲，又能聊天，還能用機械臂搭積木，其底層用的也是Transformer架構的神經網絡，這是一個值得關註的努力方向
4. LaMDA
4.1. 一個用1.56萬億個單詞的語料庫（包括公開的對話和一般網絡文本）訓練出來的神經網絡
4.2. 擁有1370億組參數，能從海量的文本中總結出語言的許多深層結構
4.3. 屬於現在比較常見的基於Transformer架構的大語言模型
4.4. 由於資源限制，這個系統只能記得相當於過去幾千個單詞的對話，如果對話更長的話，它就容易忘記更早的前文
4.5. 如果是三位數以內的加減乘除，那它們都能答對
4.5.1. 可能是因為語料居里本來就有這些問題的現成答案
4.6. 要求計算的位數越多，它們回答的準確率就越低
4.6.1. 可能反映出這些語言模型雖然掌握了語言的一些深層結構，擅長純文字的對話，也能做一些推理
4.6.2. 並沒有真正掌握四則運算的規則
4.7. 其實這些大語言模型很可能已經可以透過傳統意義上的圖靈測試了
4.7.1. 普通人類能進行的對話，它們也能進行
4.7.2. 它們答不上來的東西，很多普通人類也答不上來
4.7.3. 就算透過了圖靈測試，它們顯然也並沒有自主意識
4.8. 大語言模型能夠在大量訓練素材中學習到深層的語言結構
4.8.1. 似乎能在相距很遠的不同事物間建立聯系
4.8.2. 第一種是對我們沒有實際意義的聯系
4.8.2.1. 往往體現在會話的時候，大語言模型會一本正經地捏造事實、張冠李戴
4.8.2.2. 我們要從別的途徑確認模型說的到底對不對
4.8.3. 第二種是對我們有實際意義，而且我們事先知道的聯系
4.8.3.1. 我們往往想不到大語言模型也能發現這種聯系，跟它會話的時候會被嚇一跳
4.8.4. 第三種是有實際意義，但是我們此前不知道的聯系
4.8.4.1. 這種聯系可以幫助我們發現新知識，產生新創意
5. DALLE-2模型
5.1. OpenAI實驗室的DALLE-2模型能根據一兩句話的提示生成各種以前不存在的圖片
5.1.1. 莫奈風格的畫：狐貍坐在日升的田野裏
5.1.2. 太空人騎馬，像照片一樣真實的風格
5.1.3. 擁有令人驚艷的效果
5.2. 區分不了「太空人騎馬」和「馬騎太空人」這兩句話
5.2.1. 輸出的都是「太空人騎馬」的圖片
6. Imagen模型
6.1. 谷歌釋出的Imagen模型能根據語言提示來生成以前不存在的圖片，並且輸出的圖片比DALLE-2看起來更真實，對語言的理解也更準確
6.1.1. 背後的原因也許是模型的訓練集更大
6.2. 區分不了「太空人騎馬」和「馬騎太空人」這兩句話
6.2.1. 輸出的都是「太空人騎馬」的圖片
7. PaLM模型
7.1. 谷歌釋出的PaLM模型能解釋笑話
7.1.1. 靠的是5400億參數的神經網絡從海量文本中學習到的一些深層語言結構
7.2. 許多笑話的笑點在於特定詞匯的雙關性
7.2.1. 普通人沒法了解所有領域的雙關詞，有時面對笑話會不知道笑點在哪裏
8. 人工智能的未來
8.1. 人工智能技術的發展得益於計算能力的增長，以及新近出現的大量數據集可以用來訓練機器學習演算法
8.2. 人工智能的進步總是源於演算法的發展，而非處理器的加速
8.2.1. 每種演算法都提供了令人興奮的新可能性
8.2.2. 沒有一種演算法可以解決所有問題
8.2.3. 新的問題需要新的演算法來解決
8.2.3.1. 執行的各種不同任務會利用大腦的不同區域一樣
8.3. 人工智能冬天會出現，是由於演算法無法匹配熱切的炒作，從而引起巨大的失望
8.4. 創新的步伐受限於我們創造新演算法的能力，以及我們理解智能本質的能力
8.5. 不能指望指數級增長能帶來什麽好處
8.5.1. 事實證明，雖然可能存在指數級增長，但它幾乎肯定對我們不利
8.6. 越復雜的能力意味著越緩慢、越困難的進步
8.6.1. 越接近光速，我們就需要越多的能量來加速
8.6.2. 提高智力的能力變得越來越困難。地球上很少有生物擁有像我們一樣復雜的大腦，它經過35億年的前進演化測試才創造出如今存在於世的幾種設計，這可能並不是巧合
8.7. 未來不會有奇異點，也不會有失控的人工智能
8.7.1. 我們有可能永遠實作不了像人腦一樣先進的人工智能
8.7.2. 就算能做到，也可能需要假以地質學尺度的時間
8.8. 致力於為具體問題尋找專門的解決方案
8.8.1. 新的聊天機器人會接管客服中心的普通查詢
8.8.2. 新的無人駕駛演算法會協助我們在高速公路上開車，或幫我們停車
8.8.3. 先進的工業機器人將令枯燥的生產過程進一步自動化
8.8.4. 故障檢測系統會確保我們的工廠生產出合格的產品
8.8.5. 可穿戴智能器材會更早地檢測出健康狀況的異常
8.8.6. 社交機器人會為老年人或弱勢群體提供慰藉和照顧
8.8.7. 互聯網機器人能回答我們的語言提問
8.8.8. 防詐騙檢測系統會監測我們的交易，並在我們的銀行或身份資訊可能被盜時提醒我們
8.9. 每一種新技術都需要新的工作人員去創造它、設定它、測試它、監管它、使用它、修復它
8.10. 我們每采用一項新發明，都會改變人們的生活方式和工作方式
8.10.1. 舊的專門手藝會過時，同時新的專業知識會出現
8.10.2. 今天鐵匠很少，但工人很多
8.10.3. 明天可能工人會減少，但會有許多機器人管理員和維護工程師
8.10.4. 無人駕駛汽車將需要一套新的道路基礎設施和新的銷售和維護方式
8.10.5. 遊戲行業正在蓬勃發展，需要從電腦模擬專家到作家、演員的各種人才
8.10.6. 數據儲存和分析（事實上是所有與數據有關的業務）正在蓬勃發展，每天都能發明出新的工作崗位
8.10.7. 社交媒體會成為新的廣告渠道，創造出新的工作和職業
8.11. 另一種看法
8.11.1. 這次人工智能革命來得太快了，人們學習新技能的速度越來越趕不上工作被機器取代的速度
8.11.2. 加上現在人類的平均壽命比歷史上任何時期都長很多，人們需要養活自己的時間也比以前長很多，因此長時間無工可打的境遇會比以前更悲慘
8.12. 許多研究專案如果不成功的話，並不會公開發表，真正公開發表出來的模型只是冰山一角
8.13. 實際上，人工智能近年的許多進展都是實踐先行，理論滯後的
8.13.1. 先有人試出來這麽做效果好
8.13.2. 大家重復試驗之後確認效果好
8.13.3. 但沒人知道背後的數學機制
8.13.3.1. GPT-3有個參數是「溫度」，取值0.8時效果最好，沒人知道為什麽
8.13.3.2. DALLE-2和Imagen之類根據文字提示生成影像的系統，底層采用了一種「擴散模型」
8.13.3.2.1. 但「擴散模型」為什麽能有這麽好的效果，目前也沒有公認的精確解釋
8.13.4. 然後可能有人會去探究，試圖給出解釋
8.14. 有跡象表明，在許多種不同任務中，模型越大表現就越好
8.14.1. 堆機器和堆數據就可能訓練出高質素大模型的時代
8.14.1.1. 在一些資源雄厚的機構之間引發了「軍備競賽」，它們訓練出來的模型越來越大，效果也越來越好
8.14.2. 我們還沒有撞上曾有人預測的、投入再多資源也見不到明顯改進的那堵墻
8.14.2.1. 至於那堵墻會不會在將來某個時刻冒出來，擋住所有人工智能的進展，就像前幾次人工智能的寒冬一樣，我們現在還不清楚
8.15. 已經有許多人在研究估算負面影響的程度，並探索怎樣防範負面影響
8.15.1. 希望最終能借此避免系統不擇手段的做法
8.15.2. 跟市場另一角落，同樣在近年造成巨大的電力需求和環境影響的加密貨幣比起來，這些人工智能的學習訓練至少是在嘗試推動社會進步，做對社會有益的事
8.15.3. 需要正視其可能的有害影響，盡量想辦法最佳化資源，減少負面影響，不能因為別的領域在胡作非為，在這個領域也就心安理得跟著胡作非為
8.16. 在我們發明的各種技術中，人工智能的獨特之處在於，開發它的過程能教會我們關於大腦和身體如何運作的深刻道理
8.16.1. 只有當我們能完全搞清楚人腦的發育學習是怎樣從少量例項中掌握那些規則然後廣泛套用，並在電腦中模擬類似的過程時，我們才能實作進一步的突破
8.16.2. 環境會改變我們，正如我們也會改變環境一樣
8.16.2.1. 人工智能是一趟持續的發現之旅。這條漫長而艱難的道路也許能教會我們成為更好的人
9. 編外：按幀生成連續的圖片並且展示——Sora
