當前位置: 華文世界 > 科技

荷蘭研究人員開發出新技術,透過AI芯片的片上訓練來降低功耗

2024-07-22科技

7月22日訊息,荷蘭燕豪芬理工大學的研究人員開發了一種能夠進行片上訓練的器材,無需將訓練好的模型傳輸到芯片上,從而在未來開辟了更節能的人工智能(AI)芯片。

據了解,該開發使用神經形態架構,但已適應主流人工智能框架,而不是脈沖網絡。訓練神經形態網絡可能很乏味、耗時且能源效率低下,因為模型通常首先在電腦上訓練,然後傳輸到芯片上。

「在神經形態芯片中,有憶阻器。這些電路器材可以'記住'過去有多少電荷流過它們。」TU/e.機械工程系副教授Yoeri Van de Burgt說,他與Evaline van Doremaele合作參與了該專案。「而這正是以大腦神經元如何儲存資訊和相互通訊為模型的器材所需要的。」

在電腦上完成訓練後,來自網絡的權重被對映到芯片硬件。另一種方法是在原位或硬件中進行訓練,但當前器材需要逐個編程,然後進行錯誤檢查。這是必需的,因為大多數憶阻器都是隨機的,如果不檢查器材,就不可能更新器材。

「這些方法在時間、能源和計算資源方面成本高昂。為了真正利用神經形態芯片的能源效率,需要直接在神經形態芯片上進行訓練,「Van de Burgt說。

對於研究人員來說,主要的挑戰是將芯片上訓練所需的關鍵元件整合到單個神經形態芯片上。

「例如,要解決的一項主要任務是包含電化學隨機存取記憶體(EC-RAM)元件,」Van de Burgt說。「這些是模仿大腦中神經元的電荷儲存和發射的元件。

研究人員制造了一個基於由有機材料制成的EC-RAM元件的兩層神經網絡,並透過廣泛使用的訓練演算法反向傳播和梯度下降的演變來測試硬件。

反向傳播演算法的硬件實作使用原位隨機梯度下降逐步更新每一層,避免了儲存要求。該設計包括原位誤差計算和多層硬件實作的神經網絡中的漸進式反向傳播方法。與軟件中的傳統反向傳播相比,這具有相同的學習特性和分類效能,研究人員表明,它可以擴充套件到大型和深度神經網絡,從而實作人工智能系統的高效訓練。

「我們已經證明這適用於小型兩層網絡,」van de Burgt說。「接下來,我們希望讓工業界和其他大型研究實驗室參與進來,這樣我們就可以建立更大的硬件器材網絡,並用現實生活中的數據問題來測試它們。

下一步將使研究人員能夠證明這些系統在訓練以及執行有用的神經網絡和人工智能系統方面非常有效。「我們希望將這項技術套用於幾個實際案例,」Van de Burgt說。「我的夢想是讓這些技術在未來成為人工智能套用的常態。

編輯:芯智訊-林子