宾夕法尼亚大学和 AI2 的研究人员开发了「Holodeck」，这是一种先进的系统，能够生成各种虚拟环境来训练 AI 代理。
在【星际迷航：下一代】中，皮卡德舰长和美国企业号航空母舰的船员利用全息甲板（一个能够生成三维环境的空房间）进行任务准备和娱乐。这项技术可以模拟从茂密的丛林到夏洛克·福尔摩斯的伦敦的一切。这些深度沉浸式和完全互动的环境可以无限定制；船员只需向计算机请求特定设置，它就会在全息甲板上实现。
如今，虚拟交互环境还用于在机器人部署到现实世界之前对其进行训练，这一过程称为「Sim2Real」。然而，虚拟交互环境却出奇地短缺。「艺术家们手动创建这些环境，」Yue Yang 说道，他是 Mark Yatskar 和 Chris Callison-Burch 实验室的博士生，他们分别是计算机和信息科学 (CIS) 的助理教授和副教授。「那些艺术家可能要花一周时间才能构建一个环境，」Yang 补充道，并指出了所涉及的所有决策，从空间布局到物体的放置，再到渲染中使用的颜色。
创建虚拟训练环境的挑战
如果你想训练机器人在复杂的现实世界中导航，虚拟环境的缺乏就会成为一个问题。神经网络是当今人工智能革命的驱动系统，它需要大量数据，在这种情况下，这意味着对物理世界的模拟。「像 ChatGPT 这样的生成式人工智能系统需要数万亿个单词进行训练，而像 Midjourney 和 DALLE 这样的图像生成器需要数十亿张图像进行训练，」Callison-Burch 说。「我们只有一小部
分 3D 环境可用于训练所谓的‘具身人工智能’。如果我们想使用生成式人工智能技术来开发能够在现实环境中安全导航的机器人，那么我们将需要创建数百万或数十亿个模拟环境。」
Holodeck是一款用于生成交互式 3D 环境的系统，由 Callison-Burch、Yatskar、Yang 和 CIS 助理教授 Aravind K. Joshi Liu 以及斯坦福大学、华盛顿大学和艾伦人工智能研究所 (AI2) 的合作者共同创建。Holodeck 以其【星际迷航】的前身命名，它使用人工智能来解释用户的要求，从而生成几乎无限范围的室内环境。「我们可以用语言来控制它，」Yang 说。「你可以轻松描述你想要的任何环境，并训练具象的人工智能代理。」
Holodeck 利用大型语言模型 (LLM)、ChatGPT 底层系统和其他聊天机器人中嵌入的知识。「语言是整个世界的非常简洁的表示，」杨说。事实上，由于 LLM 在训练期间吸收了大量文本，因此他们对空间设计的知识程度令人惊讶。从本质上讲，Holodeck 的工作原理是让 LLM 参与对话，使用精心构建的一系列隐藏查询将用户请求分解为特定参数。
Holodeck 的实际应用和测试
就像皮卡德舰长可能会要求星际迷航的全息甲板模拟地下酒吧一样，研究人员可以要求宾夕法尼亚大学的全息甲板创建「一个养猫的研究人员的 1b1b 公寓」。系统通过
将其分为多个步骤来执行此查询：首先，创建地板和墙壁，然后创建门和窗户。接下来，全息甲板在 Objaverse（一个巨大的预制数字对象库）中搜索您可能在这种空间中期望的家具：咖啡桌、猫塔等等。最后，全息甲板查询布局模块，研究人员设计该模块是为了限制物体的放置，这样您就不会看到马桶从墙壁水平延伸出来。
为了评估 Holodeck 的真实性和准确性，研究人员使用 Holodeck 和 AI2 早期创建的工具 ProcTHOR 生成了 120 个场景，并要求数百名宾夕法尼亚大学工程系学生指出他们喜欢的版本，但不知道哪些场景是由哪些工具创建的。对于每一项标准（资产选择、布局连贯性和总体偏好），学生们一致认为 Holodeck 生成的环境更受欢迎。
研究人员还测试了 Holodeck 生成场景的能力，这些场景在机器人研究中并不常见，而且比公寓内部更难手动创建，例如商店、公共场所和办公室。将 Holodeck 的输出与 ProcTHOR 的输出进行比较，后者是使用人类创建的规则而不是 AI 生成的文本生成的，研究人员再次发现，人类评估者更喜欢 Holodeck 创建的场景。这种偏好适用于各种室内环境，从科学实验室到艺术工作室，从更衣室到酒窖。
最后，研究人员使用 Holodeck 生成的场景来「微调」具身的 AI 代理。Yatskar 说：「Holodeck 的终极测试是用
它来帮助机器人更安全地与环境互动，让它们做好在从未去过的地方居住的准备。」
在多种类型的虚拟空间中，包括办公室、日托中心、健身房和游乐场，Holodeck 对代理在新空间中导航的能力产生了明显而积极的影响。
例如，当使用 ProcTHOR 进行预训练时（代理需要大约 4 亿个虚拟步骤），代理只有大约 6% 的时间成功找到音乐室中的钢琴，而当使用 Holodeck 生成的 100 个音乐室进行微调时，代理的成功率超过 30%。
「长期以来，这个领域一直停留在住宅空间的研究阶段，」杨说。「但外面有如此多不同的环境——高效地生成大量环境来训练机器人一直是一项巨大的挑战，但 Holodeck 提供了这种功能。」
如果您与我一样，对科学科普感兴趣，可以进去主页私信我订阅专业邮件，也可以进入粉丝群与大家一起讨论科学新闻与最新技术突破，专业邮件每天30篇文章，助您游览全球科学技术资讯。
