當前位置: 華文世界 > 科技

莫耳執行緒萬卡GPU集群新進展!效能可提升20倍

2024-07-21科技

快科技7月18日訊息,莫耳執行緒官方宣布,與清華系AI系統軟體公司清程極智正式建立戰略合作關系,旨在加速國產大規模GPU智算集群的產業化行程,推動AI算力生態的快速發展,為大模型行業提供更強大、靈活且高效的基礎設施支持。

莫耳執行緒近期宣布了從千卡至萬卡的全功能GPU智算集群擴充套件方案,雙方此番合作就將聚焦於萬卡級超大規模GPU智算集群的開發與最佳化。

清程極智是一家致力於構建高效人工智慧系統軟體,賦能國產算力,支撐大模型行業發展的公司,自主研發了智慧編譯器IntelliGen、高效並列訓練系統FastMoE,能夠顯著加速Transformer類模型和混合專家MoE模型的處理速度,部份模型效能提升最高可達15-20倍。

目前,清程極智的核心產品已全面適配莫耳執行緒自研的MUSA平台。

莫耳執行緒還宣布,已與北京智源人工智慧研究院順利完成基於Triton語言的高效能算子庫FlagGems的適配工作。

利用莫耳執行緒自研的統一系統計算架構MUSA,雙方只用了短短一個多星期,就成功完成了近60個算子的功能驗證,精度符合交付標準,並實作了對Bert-large模型的全面支持。

莫耳執行緒研發團隊經過充分調研論證,還形成了Triton編譯器在MUSA架構上適配的完整方案,力求實作開發者在基於莫耳執行緒全功能GPU進行Triton開發算子過程中,也能獲得與原來一致的體驗,做到CUDA框架、MUSA框架的無縫遷移。

在莫耳執行緒MUSA架構上,FlagGems算子庫展現出了接近手寫算子的計算效能,而且效能還在持續調優,極大加速了開源大模型在莫耳執行緒全功能GPU上的部署速度。

智源研究院是北京市於2018年11月推動成立的新型研發機構,核心目標是聚焦AI原始創新和核心技術,推動AI理論、方法、工具、系統和套用取得變革性、顛覆性突破,支撐北京建設成為全球AI學術思想、基礎理論、頂尖人才、企業創新和發展政策的源頭。

智源研究院的FlagGems算子庫是一個使用Triton程式語言實作的高效能通用算子庫,旨在為大語言模型提供一系列可套用於PyTorch框架的算子,加速模型的推理與訓練,降低新演算法的開發門檻。

它以Triton程式語言的易用性和編譯器的標準介面為基礎,為多元芯片提供了一套易適配、高效能的算子解決方案,推動基於Triton的統一、開源的軟硬體生態建設。