谷歌正在利用Gemini AI來增強機器人的導航和任務完成能力。DeepMind的研究團隊介紹了他們如何使用Gemini 1.5 Pro來改進與RT-2機器人的互動，透過廣泛上下文視窗和自然語言命令實作更無縫的交流。他們透過錄制特定區域的視訊導覽來教導機器人理解環境，讓機器人能夠從視訊中學習，並遵循自然語言或視覺提示執行指令。Gemini驅動的機器人在大型操作空間中成功率達到90%，展示了令人鼓舞的結果。此外，Gemini 1.5 Pro還賦予機器人高級規劃能力，例如在使用者詢問特定飲料是否可用時，機器人可以制定行動策略。DeepMind計劃進一步探索這些能力，以提升機器人效能。
谷歌正在利用 Gemini AI 來增強其機器人的導航和任務完成能力。DeepMind 機器人團隊在最近的一篇研究論文中詳細介紹了如何利用 Gemini 1.5 Pro 的廣泛上下文視窗，透過自然語言命令實作與 RT-2 機器人更無縫的互動。
為了教會機器人了解其環境，會錄制特定區域（如家庭或辦公室）的視訊導覽。利用 Gemini 1.5 Pro，研究人員使機器人能夠從視訊中學習，使其能夠遵循自然語言或視覺提示給出的指令。這種方法顯示出了令人鼓舞的結果，Gemini 驅動的機器人在大型操作空間中對各種使用者指令的成功率達到了 90%。
研究還表明，Gemini 1.5 Pro 賦予了機器人超越基本導航任務的規劃能力。例如，當使用者詢問特定飲料（如可樂）是否可用時，機器人可以透過前往冰箱、檢查飲料並帶回結果來制定行動策略。DeepMind 打算深入探索這些能力，以進一步提升機器人的效能。
