当前位置: 华文世界 > 科技

仅用19天,马斯克建成全球最强「超算工厂」!10万块H100 GPU上线,Grok 3预计年底发布

2024-07-24科技

只花了19天,「硅谷狂人 马斯克就将「超级算力工厂」建成了!

当地时间7月22日,马斯克在X平台上发文称赞了xAI 、X、英伟达,以及其他支持团队的工作,并表示,在当地时间凌晨4:20,这些团队合力打造的孟菲斯超级集群开始投入训练。

图片来源:X平台

该集群 由10万块液冷p00 芯片组成 ,是全球最强的超算集群。 在同日接受著名心理学教授乔丹·彼得森的专访时,马斯克透露, 从硬件安装到投入训练,总共只花了19天。

同时,他还在采访中介绍,Grok 2的训练已经完成,将于下个月发布。目前,Grok 3正在孟菲斯的超算中心中进行训练,预计年底将会发布,届时将是市面上最强大的模型。

不过在访谈中,马斯克也坦言,自己对AI安全性的忧虑日益加剧。他认为,AI必须基于「亲人类」的原则,但其他公司更想要创造的是比任何人类都聪明得多的数字超级智能,而这并不是一个好事。

谈xAI:「超算中心」仅用19天就投入训练,Grok 3预计年底发布

当下,xAI旗下的Grok正与谷歌Gemini及OpenAI的ChatGPT等产品展开激烈竞争。乔丹·彼得森在采访一开始就抛出一个尖锐的问题,询问马斯克如何比较Grok和ChatGPT现在的表现。

马斯克评价称,目前搭载在X平台上的基础Grok模型并不是很强,比ChatGPT要弱上一个量级。他表示:「X是一家相当新的公司,它才成立一年多一点,所以我们有很多工作要做,才能赶上那些已经成立了5年,10年或是20年的公司。」

他随后补充道:「我们正在快速追赶,我认为xAI的改进速度比其他任何公司都快, 我们建造了一个大型训练中心,从硬件安装到投入训练只花了19天。

【每日经济新闻】记者注意到, 孟菲斯「超算工厂」拥有10万块液冷p00 GPU,在单个RDMA结构 (即远程直接数据存取结构)上运行,是全球最大的超算集群 。按照成本估算 ,每块p00的价格约为3万~4万美元。这也就意味着,马斯克的「超算工厂」价值将达30亿~40亿美元(约合人民币218亿~290亿元)。从算力上来看,OpenAl GPT-4的训练用了25000块A100 GPU,约为「超算工厂」的1/20。

当被问及xAI的下一代模型时,马斯克称, Grok 2最近完成了训练,工程师正在修复漏洞,下个月就能正式发布。

谈及其性能,马斯克透露道:「它(Grok2)应该与ChatGPT最新的模型(GPT-4)相当。我们正在孟菲斯数据中心训练Grok 3,大概需要三四个月的时间来进行调整和修复错误。我们希望能在12月之前发布Grok 3,到那时Grok 3应该是世界上最强大的AI。」

图片来源: 乔丹·彼得森访谈截图

谈AI风险:AI必须基于「亲人类」原则

在访谈中,马斯克也坦言,自己对AI安全性的忧虑日益加剧。他认为, 所有的AI公司想要创造的是比任何人类都聪明得多的数字超级智能,而这并不是一个好事。

马斯克 看来, AI必须基于「亲人类」的原则。 他告诉彼得森,在与谷歌的前首席执行官拉里·佩奇讨论相关话题后,他越来越担心AI的安全问题了。「他(佩奇)称我为物种歧视者(speciesist)。我确实是个物种歧视者,我支持人类而不是机器。拉里的观点则是,我们以后都会将我们的思想上传到电脑上,每个人都会变成机器。」他说道。

马斯克进一步表示:「不支持人类是一件疯狂的事情。我的意思是,如果人类不加入人类阵营,那谁会加入呢?这是压死骆驼的最后一根稻草。我想,我们真的需要一些新的AI公司,这样才能与谷歌抗衡。」而这也是Grok的使命所在,和带有「觉醒病毒」的ChatGPT和Gemini展开竞争。

实际上,正是有关AI安全的讨论促使马斯克和山姆·阿尔特曼于2015年共同创立了OpenAI。不过,2018年马斯克和后者理念不和,离开OpenAI,最终创立了自己的AI聊天机器人Grok,并多次批评OpenAI背离初衷。

他认为,OpenAI应该是作为一个开源的非营利性的组织。OpenAI中的「Open」是指「开源」,而OpenAI现在真正想要实现的是利润最大化,并非尝试去解决一些真正的问题。

马斯克透露,「 我仍在考虑提起法律诉讼,至少可以让法庭向我解释,我所资助的组织为何能实现截然相反的目标。

每日经济新闻