賓夕法尼亞大學和 AI2 的研究人員開發了「Holodeck」，這是一種先進的系統，能夠生成各種虛擬環境來訓練 AI 代理。
在【星際迷航：下一代】中，皮卡德艦長和美國企業號航空母艦的船員利用全像甲板（一個能夠生成三維環境的空房間）進行任務準備和娛樂。這項技術可以模擬從茂密的叢林到夏洛克·福爾摩斯的倫敦的一切。這些深度沈浸式和完全互動的環境可以無限客製；船員只需向電腦請求特定設定，它就會在全像甲板上實作。
如今，虛擬互動環境還用於在機器人部署到現實世界之前對其進行訓練，這一過程稱為「Sim2Real」。然而，虛擬互動環境卻出奇地短缺。「藝術家們手動建立這些環境，」Yue Yang 說道，他是 Mark Yatskar 和 Chris Callison-Burch 實驗室的博士生，他們分別是電腦和資訊科學 (CIS) 的助理教授和副教授。「那些藝術家可能要花一周時間才能構建一個環境，」Yang 補充道，並指出了所涉及的所有決策，從空間布局到物體的放置，再到渲染中使用的顏色。
建立虛擬訓練環境的挑戰
如果你想訓練機器人在復雜的現實世界中導航，虛擬環境的缺乏就會成為一個問題。神經網絡是當今人工智能革命的驅動系統，它需要大量數據，在這種情況下，這意味著對物理世界的模擬。「像 ChatGPT 這樣的生成式人工智能系統需要數萬億個單詞進行訓練，而像 Midjourney 和 DALLE 這樣的影像生成器需要數十億張影像進行訓練，」Callison-Burch 說。「我們只有一小部
分 3D 環境可用於訓練所謂的‘具身人工智能’。如果我們想使用生成式人工智能技術來開發能夠在現實環境中安全導航的機器人，那麽我們將需要建立數百萬或數十億個模擬環境。」
Holodeck是一款用於生成互動式 3D 環境的系統，由 Callison-Burch、Yatskar、Yang 和 CIS 助理教授 Aravind K. Joshi Liu 以及史丹福大學、華盛頓大學和艾倫人工智能研究所 (AI2) 的合作者共同建立。Holodeck 以其【星際迷航】的前身命名，它使用人工智能來解釋使用者的要求，從而生成幾乎無限範圍的室內環境。「我們可以用語言來控制它，」Yang 說。「你可以輕松描述你想要的任何環境，並訓練具象的人工智能代理。」
Holodeck 利用大型語言模型 (LLM)、ChatGPT 底層系統和其他聊天機器人中嵌入的知識。「語言是整個世界的非常簡潔的表示，」楊說。事實上，由於 LLM 在訓練期間吸收了大量文本，因此他們對空間設計的知識程度令人驚訝。從本質上講，Holodeck 的工作原理是讓 LLM 參與對話，使用精心構建的一系列隱藏查詢將使用者請求分解為特定參數。
Holodeck 的實際套用和測試
就像皮卡德艦長可能會要求星際迷航的全像甲板模擬地下酒吧一樣，研究人員可以要求賓夕法尼亞大學的全像甲板建立「一個養貓的研究人員的 1b1b 公寓」。系統透過
將其分為多個步驟來執行此查詢：首先，建立地板和墻壁，然後建立門和窗戶。接下來，全像甲板在 Objaverse（一個巨大的預制數碼物件庫）中搜尋您可能在這種空間中期望的家具：咖啡桌、貓塔等等。最後，全像甲板查詢布局模組，研究人員設計該模組是為了限制物體的放置，這樣您就不會看到馬桶從墻壁水平延伸出來。
為了評估 Holodeck 的真實性和準確性，研究人員使用 Holodeck 和 AI2 早期建立的工具 ProcTHOR 生成了 120 個場景，並要求數百名賓夕法尼亞大學工程系學生指出他們喜歡的版本，但不知道哪些場景是由哪些工具建立的。對於每一項標準（資產選擇、布局連貫性和總體偏好），學生們一致認為 Holodeck 生成的環境更受歡迎。
研究人員還測試了 Holodeck 生成場景的能力，這些場景在機器人研究中並不常見，而且比公寓內部更難手動建立，例如商店、公共場所和辦公室。將 Holodeck 的輸出與 ProcTHOR 的輸出進行比較，後者是使用人類建立的規則而不是 AI 生成的文本生成的，研究人員再次發現，人類評估者更喜歡 Holodeck 建立的場景。這種偏好適用於各種室內環境，從科學實驗室到藝術工作室，從更衣室到酒窖。
最後，研究人員使用 Holodeck 生成的場景來「微調」具身的 AI 代理。Yatskar 說：「Holodeck 的終極測試是用
它來幫助機器人更安全地與環境互動，讓它們做好在從未去過的地方居住的準備。」
在多種類別的虛擬空間中，包括辦公室、日托中心、健身房和遊樂場，Holodeck 對代理在新空間中導航的能力產生了明顯而積極的影響。
例如，當使用 ProcTHOR 進行預訓練時（代理需要大約 4 億個虛擬步驟），代理只有大約 6% 的時間成功找到音樂室中的鋼琴，而當使用 Holodeck 生成的 100 個音樂室進行微調時，代理的成功率超過 30%。
「長期以來，這個領域一直停留在住宅空間的研究階段，」楊說。「但外面有如此多不同的環境——高效地生成大量環境來訓練機器人一直是一項巨大的挑戰，但 Holodeck 提供了這種功能。」
如果您與我一樣，對科學科普感興趣，可以進去主頁私信我訂閱專業郵件，也可以進入粉絲群與大家一起討論科學新聞與最新技術突破，專業郵件每天30篇文章，助您遊覽全球科學技術資訊。
