參考訊息網8月23日報道據英國【新科學家】周刊網站8月21日報道，支持聊天生成預訓練轉換器(ChatGPT)等人工智慧(AI)系統的演算法無法邊工作邊學習，這迫使科技公司不得不花費數十億美元從頭開始訓練新模型。盡管這是業界一直關註的問題，但一項新研究表明，模型的設計方式存在固有問題，不過也許有辦法解決它。
目前，大多數人工智慧都是所謂的「神經網路」，其靈感來源於大腦的工作原理。人工智慧「神經網路」的處理單元被稱為「人工神經元」。它們在開發過程中通常會經歷不同的階段。首先，開發者對人工智慧進行訓練，透過演算法對人工神經元進行微調，以更好地反映給定的數據集。然後，人工智慧可被用於應對新數據，比如輸入ChatGPT的文本。不過，一旦模型的神經元在訓練階段就被設定好，它們就無法更新並利用新數據進行學習。
這意味著，如果有了新數據，大多數大型人工智慧模型都必須重新接受訓練，而這一過程可能非常昂貴，尤其是當這些新數據集由整個互聯網的大部份數據組成時。
研究人員一直想知道，這些模型能否在接受初始訓練後吸收新知識，從而降低成本，但一直不清楚它們能否做到這一點。
現在，加拿大艾爾伯塔大學的希班什·杜哈雷和他的同事測試了最常見的人工智慧模型能否適應持續學習。研究團隊發現，它們很快就失去了學習新知識的能力，大量的人工神經元在接觸到新數據後就會停留在零值上。
杜哈雷說：「如果你把它想象成你的大腦，那麽一旦90%的神經元都死了，剩下的就不夠你學習時用了。」
杜哈雷及其團隊首先利用ImageNet資料庫訓練人工智慧系統。該資料庫由1400萬張帶有標簽的房屋或貓等簡單物體的影像組成。但他們並沒有按照標準行事(即訓練人工智慧一次，然後透過讓其多次嘗試區分兩幅影像來測試它)，而是在區分每對影像之後重新訓練模型。
他們用這種方法測試了一系列不同的學習演算法，發現經過幾千次的再訓練後，這些網路似乎無法學習且表現很差，許多神經元似乎「死了」，即值為零。
研究團隊還透過強化學習來訓練人工智慧，讓其模擬螞蟻如何學習行走。強化學習是一種常見方法，它教給人工智慧成功是什麽樣子，並透過試錯找出規律。他們試著調整這種技術以實作持續學習，具體方式是，每換一種表面供螞蟻行走，就重新訓練演算法。之後他們發現，這也會導致人工智慧明顯喪失學習能力。
杜哈雷說，這個問題似乎是這些系統的學習方式所固有的，但有一種方法可以解決問題。研究人員開發了一種演算法，在每輪訓練後隨機啟用一些神經元，這似乎減少了表現不佳的情況。
杜哈雷說：「如果一個(神經元)已經死了，那麽我們只需讓它復活。現在它又能學習了。」
英國牛津大學的馬克·範德維爾克說，這種演算法看起來很有前途，但還需要在更大的系統中進行測試，才能確定它是否有用。
他說：「持續學習問題的解決方案是一個價值數十億美元的重大問題。一個真正全面的解決方案可以讓你不斷更新模型，這將大大降低訓練這些模型的成本。」（編譯/劉白雲）
