当前位置: 华文世界 > 科技

仅用19天,全球最大AI算力集群建成!10万块液冷H100 GPU上线,价值将超30亿美元,算力是GPT-4的20倍【附智算中心技术架构分析 】

2024-07-29科技

图片来源:摄图网

算力和人工智能芯片是人工智能技术发展中的两个关键方面。 算力指的是计算机系统处理数据和执行指令的能力,对于人工智能应用来说,需要大量的算力来处理复杂的数据和算法。人工智能芯片则是专门为人工智能任务设计的芯片,具有高效的并行计算能力和低能耗特性。这两者密切相关,因为人工智能应用需要大量的算力支持,而人工智能芯片能够提供高效的计算能力。 因此,算力和人工智能芯片的发展相辅相成,共同推动了人工智能技术的进步和应用。

当地时间7月22日,「硅谷狂人」马斯克在X平台上发文称赞了xAI、X、英伟达,以及其他支持团队的工作,并表示,在当地时间凌晨4:20, 这些团队合力打造的「孟菲斯超级集群」开始投入训练。

每经网消息, 孟菲斯「超算工厂」拥有10万块液冷p00 GPU,在单个RDMA结构(即远程直接数据存取结构)上运行,是全球最大的超算集群。 按照成本估算,每块p00的价格约为3万-4万美元。这也就意味着,马斯克的「超算工厂」价值将达30亿-40亿美元(约合人民币218亿-290亿元)。 从算力上来看,OpenAl GPT-4的训练用了25000块A100 GPU,约为「超算工厂」的1/20。

马斯克在接受著名心理学教授乔丹·彼得森的专访时透露,我们建造了一个大型训练中心, 从硬件安装到投入训练,总共只花了19天。 同时,马斯克表示, Grok 2的训练已经完成,将于下个月发布 。目前, Grok 3正在孟菲斯的超算中心中进行训练,预计年底将会发布 ,届时将是市面上最强大的模型。

回看智算中心行业发展情况:

——智算中心采用领先的人工智能计算架构

【智能计算中心创新发展指南】指出,智算中心的发展基于最新人工智能理论和领先的人工智能计算架构,算力技术与算法模型是其中的关键核心技术,算力技术以AI芯片、AI服务器、AI集群为载体,而当前的算法模型发展趋势以AI大模型为代表。在此基础上,通过智算中心操作系统作为智算中心的「神经中枢」对算力资源池进行高效管理和智能调度,使智算中心更好地对外提供算力、数据和算法等服务,支撑各类智慧应用场景落地。而软件生态则是智算中心「好用、用好」的关键支撑。

——AI芯片是智能计算的主流模式

基于AI芯片的加速计算是当前智能计算的主流模式。AI芯片通过和AI算法的协同设计来满足AI计算对算力的超高需求。当前主流的AI加速计算主要是采用CPU系统搭载GPU、FPGA、ASIC等异构加速芯片。

近年来,国产AI加速芯片厂商持续发力,在该领域取得了快速进展,相关产品陆续发布,覆盖了AI推理和AI训练需求,其中既有基于通用GPU架构的芯片,也有基于ASIC架构的芯片,另外也出现了类脑架构芯片,总体上呈现出多元化的发展趋势。

——AI集群能够满足智算中心的大规模算力需求

大模型参数量和训练数据复杂性快速增长,对智算系统提出大规模算力扩展需求。通过充分考虑大模型分布式训练对于计算、网络和存储的需求特点,可以设计构建高性能可扩展、高速互联、存算平衡的AI集群来满足尖端的智能计算需求。

2023年7月,华为宣布昇腾AI集群全面升级,推出首个万卡AI集群,拥有更快的训练速度和30天以上的稳定训练周期,十倍领先业界。目前,昇腾AI集群已支撑全国25个城市的人工智能计算中心建设,其中7个城市公共算力平台入选首批国家「新一代人工智能公共算力开放创新平台」。

——AI大模型是一种新的智能计算范式

超大规模智能模型,简称大模型,是近年兴起的一种新的人工智能计算范式。和传统AI模型相比,大模型的训练使用了更多的数据,具有更好的泛化性,可以应用到更广泛的下游任务中。按照应用场景划分,AI大模型主要包括语言大模型、视觉大模型和多模态大模型等。业界典型的自然语言大模型有GPT-3、源、悟道和文心等。视觉大模型也已广泛应用于自动驾驶、智能安防、医学影像等领域。基于多模态大模型的以文生图技术也迅速发展,AI内容生成(AI Generated Content,AIGC)已成为下一个AI发展的重点领域。

前瞻产业研究院分析认为,算力资源是数字经济发展的重要底座。随着数字经济蓬勃发展, 未来智能算力的发展需求将快速扩大,智算中心建设浪潮掀起。 同时,通用智能的算法模型快速演进,大模型加速人工智能应用;普适普惠的服务生态逐步构建,算力服务普惠化、算法应用普适化;绿色低碳的发展格局加速形成, 节能降耗的液冷技术对于密度高、规模大、散热需求高的智算中心优势明显,将得到进一步推广应用。

前瞻经济学人APP资讯组

更多本行业研究分析详见前瞻产业研究院【中国人工智能数据中心(AIDC,智算中心)行业发展前景与投资战略规划分析报告】。

同时前瞻产业研究院还提供产业新赛道研究、投资可行性研究、产业规划、园区规划、产业招商、产业图谱、产业大数据、智慧招商系统、行业地位证明、IPO咨询/募投可研、专精特新小巨人申报等解决方案。在招股说明书、公司年度报告等任何公开信息披露中引用本篇文章内容,需要获取前瞻产业研究院的正规授权。

更多深度行业分析尽在【前瞻经济学人APP】,还可以与500+经济学家/资深行业研究员交流互动。更多企业数据、企业资讯、企业发展情况尽在【企查猫APP】,性价比最高功能最全的企业查询平台。