谷歌正在利用Gemini AI来增强机器人的导航和任务完成能力。DeepMind的研究团队介绍了他们如何使用Gemini 1.5 Pro来改进与RT-2机器人的互动，通过广泛上下文窗口和自然语言命令实现更无缝的交流。他们通过录制特定区域的视频导览来教导机器人理解环境，让机器人能够从视频中学习，并遵循自然语言或视觉提示执行指令。Gemini驱动的机器人在大型操作空间中成功率达到90%，展示了令人鼓舞的结果。此外，Gemini 1.5 Pro还赋予机器人高级规划能力，例如在用户询问特定饮料是否可用时，机器人可以制定行动策略。DeepMind计划进一步探索这些能力，以提升机器人性能。
谷歌正在利用 Gemini AI 来增强其机器人的导航和任务完成能力。DeepMind 机器人团队在最近的一篇研究论文中详细介绍了如何利用 Gemini 1.5 Pro 的广泛上下文窗口，通过自然语言命令实现与 RT-2 机器人更无缝的互动。
为了教会机器人了解其环境，会录制特定区域（如家庭或办公室）的视频导览。利用 Gemini 1.5 Pro，研究人员使机器人能够从视频中学习，使其能够遵循自然语言或视觉提示给出的指令。这种方法显示出了令人鼓舞的结果，Gemini 驱动的机器人在大型操作空间中对各种用户指令的成功率达到了 90%。
研究还表明，Gemini 1.5 Pro 赋予了机器人超越基本导航任务的规划能力。例如，当用户询问特定饮料（如可乐）是否可用时，机器人可以通过前往冰箱、检查饮料并带回结果来制定行动策略。DeepMind 打算深入探索这些能力，以进一步提升机器人的性能。
