当前位置: 华文世界 > 科技

NVIDIA发布GR00T计划与Jetson Thor单板计算机,推动人型机器人发展

2024-04-03科技

NVIDIA在GTC 2024春季场推出人型机器人通用基础模型Project GR00T,并发布对应的Jetson Thor单板计算机,进一步推动机器人技术和体现AI技术突破。

NVIDIA推出的Isaac机器人平台除了具有通过CUDA加速的感知与模拟函数库,也具有能够在计算机中进行模拟并训练AI模型的Isaac Sim,并在这次GTC 2024春季场发布GR00T计划,推出人型机器人通用基础模型Project GR00T,以及基于Thor SoC的单板计算机Jetson Thor,并于Isaac升级加入模拟的生成式AI基础模型、工具和AI工作流程基础架构,标进一步推动机器人技术和体现AI(Embodied AI)技术发展。

GR00T为Generalist Robot 00 Technology(通用型机器人技术)的缩写,发音可以为Groot(音近格鲁特)或直接念出「G R Zero Zero T」英数字母,它能搭配大型语言模型(Large Language Model,LLM)理解自然语言,并通过摄影机拍摄、观察人类行为来模仿动作,加快学习协调性、灵活性和其他技能。

GR00T能轻松在Isaac开发环境中创建适用于所有环境、任何机器人的基础模型,并通过改良自Isaac Sim的轻量级Isaac Lab应用程序,通过GPU加速方式以合成数据进行模拟训练,强化机器人AI模型的学习成效,并通过OSMO在分布式环境下协调所生成的数据、模型和软硬件循环工作,以加速开发流程。

此外NVIDIA也发布了专为机器手臂设计的Isaac Manipulator基础模型与GPU加速函数库,提供灵活且模块化的AI功能,除了能够提高80倍路径规划速度,也能提升零样本感知的效率与吞吐量,以便自动执行更多的机器人任务。而Isaac Perceptor则提供多镜头、3D环视功能,能够降低错误率与成本,并提高协同工作环境中的人员安全。

NVIDIA创办人暨首席执行官黄仁勋在GTC 2024春季场的开幕演说结尾时多台机器人登台,且进行趣味互动。(可观看重播视频1:54:45处。附带一提,这些机器人皆尚未用到Jetson Thor)

黄仁勋在演说中表示Omniverse与Isaac将会带来新一波工业革命。

人型机器人通用基础模型Project GR00T能够接收文本、视频或是观察人类动作进行学习。

举例来说,开发者可以将人类示范动作视频输入Omniverse创建的数字挛生,并通过Isaac Lab训练机器人AI模型。

开发者也可以在Omniverse中通过数字挛生以及合成场景进行AI模型的训练工作。

使用虚拟方式进行AI模型训练能够以低成本进行大规训练,这是在真实世界几乎不可能完成的优势。(可参考NVIDIA介绍视频2:03处)

ANYbotics机器狗在Omniverse数字挛生中通过Isaac Sim训练机器人AI模型。

ANYbotics也于GTC 2024春季场的展间带来机器狗的动态展示。但是可能是笔者人品出问题的关系,狗狗跳过箱子之后就薯掉啰……

OSMO能够协调多种数据并驱动机器人。

开发者也能够通过NVIDIA Tokkio服务让机器人「讲话」。

为了提供机器人性能更高的运算单元,NVIDIA也以Thor SoC为基础开发Jetson Thor单板计算机,它采用模块化架构设计,可以依照需强针对性能、功耗与尺寸进行优化,能够执行更复杂的程序,并提供安全、自然与机器进行互动的能力。

虽然NVIDIA并没有在这次GTC发布太多Jetson Thor的资讯,但NVIDIA自动化机械业务部门副总裁暨宏观经济理Deepu Talla在访谈中回答笔者提问时,表示Jetson Thor的SoC与车辆使用的Drive Thor基本上会采用相同的SoC,采用Blackwell架构GPU,并可通过Transformer引擎带来800 TFLOPS的FP8数据类型AI运算性能,具备执行GR00T等多模态生成式AI模型的能力。

另一方面它也为了针对机器人使用的需求,在单板计算机模块上提供更多I/O端子与功能,并集成功能安全处理器、高性能CPU集群与100GB以太网络带宽(100GB of ethernet bandwidth),大幅简化设计与开发工作。

附带一提,Deepu Talla也在访谈中说明,在开幕演说登场的机器人以目前以上市的运算平台为基础开发,尚未使用Jetson Thor。

Jetson Thor是专为机器人设计的运算平台。

Jetson Thor具有更多I/O端子,并能通过高速网络串联,分散多种运算需求。

Jetson Thor预计于2025年上市,目前尚未公布详细规格,未来我们会持续关注报道。