當前位置: 華文世界 > 科技

全球最大超算中心開始運轉,馬斯克的AI野心顯露

2024-07-23科技

界面新聞記者 | 陳振芳

界面新聞編輯 | 文姝琪

美國田納西州曼非斯 ,全球最大超級計算中心「Supercluster」已於當地時間7月22日淩晨4:20正式開始運轉。該計畫隸屬於馬斯克旗下的xAI。

埃隆·馬斯克最近在社交平台 X 上宣布了這一訊息。他表示 xAI公司已開始在「Supercluster」上進行訓練,該集群由10萬個液冷輝達(Nvidia)p00 GPU組成,在單個遠端直接數據存取(RDMA)結構上執行,號稱是「世界上最強大的AI訓練集群」。

對比 來看, OpenAI訓練GPT4 需要 用到 25000塊A100 GPU 約為 前者 1/ 20

它是世界上最強大的AI訓練集群 。」 馬斯克聲稱, Supercluster將全方位、深層次地參與並加速「世界上最強大人工智慧」的 訓練 過程。

從GPU規模上來看,這一集群已經全面超越了最新Top500榜單上的任何一台超級電腦,包括 超過配備37888個AMDGPU的Frontier、60000個IntelGPU的Aurora,以及14400個Nvidiap00GPU的MicrosoftEagle, 規模 訓練效率被公認為 全球 最強大的AI訓練平台。

xAI創始成員TobyPhln表示, 「一年前創辦這家公司時, 我們的目標是實作三大優勢:數據優勢、人才優勢和計算優勢。從今天開始,我們擁有了這三項優勢。」馬斯克隨後轉載了這一訊息。

Supercluster原定於2025年秋季啟動 x AI提前了一年實作該目標。

據富比士報道,據大曼非斯商會主席 Ted Townsend 透露,馬斯克僅花費一周,就決定將他的人工智慧初創公司xAI的新超級電腦建造在曼非斯。

「經過3月份的幾天旋風式談判之後,馬斯克和他的團隊(其中包括他旗下幾家公司的代表)選擇了田納西州的這座城市。」Ted Townsend解釋稱,這裏有充足的電力和快速建設的能力,該計畫將價值數十億美元。在選擇曼非斯之前,xAI還與其他七八個城市進行了洽談。

今年6月份,Ted Townsend曾告訴彭博社,有關新廠的許多細節尚未披露,包括總成本和將創造的就業數量。他表示,該市還討論了向xAI提供稅收減免或其他商業激勵措施,以吸引計畫落戶曼非斯,但具體細節尚未敲定。

xAI承包商將該計畫稱為「巨人計畫」(Project Colossus),源自於1970年的科幻電影【巨人:福賓計劃】,講述的是一個失控的人工智慧被賦予美國核武庫控制權的故事。 「巨人,它能看到一切,感知一切,了解一切,控制所有武器和防禦。當這個沒有感情的造物成為人類的主宰時,結果將是災難性的。」

然而,這一投資行程並不順利。富比士報道稱,曼非斯市議會的幾名議員正在敦促該市叫停這項投資,議員們被排除在計畫決策過程之外。當地民眾對這筆交易偷偷摸摸的性質和數據中心對水電的需求感到擔憂。

人工智慧的發展正在對歐美國家帶來巨大的電力負擔。

根據國際能源署的數據,一次ChatGPT查詢需要2.9瓦時的電力,與之相比,谷歌搜尋僅需要0.3瓦時的電力。高盛研究部估計,2023年至 2030年間,人工智慧所驅動的數據中心功耗每年總體增長約200太瓦時;到2028年,預計人工智慧將占數據中心電力需求的19%左右

據估計,xAI曼非斯工廠每小時可能使用高達150百萬瓦的電力,相當於10萬戶家庭所需電量,而xAI預計每天至少需要100萬加侖的散熱水。這可能會對 當地來說 會造成 巨大的 負擔

xAI為了達成這項協定,已口頭承諾將改善曼非斯的公共基礎設施,以支持數據中心的發展,包括興建一個新的變電站和一個汙水處理設施。然而,這一舉措並不能讓當地人信服,馬斯克此前在其他地方承諾的一些公共基礎設施計畫並未如約推進。

另一方面,馬斯克從OpenAI高薪挖來的Kyle Kosic,已於今年4月離職,重返OpenAI。

伴隨著非議,馬斯克的AI夢想仍在快速前進。

當地時間5月26日,xAI宣布完成60億美元的B輪融資。

馬斯克另外透露,xAI的Grok-2模型在來自甲骨文的2.4萬個輝達p00芯片上進行訓練,「可能準備下月釋出」。此前, xAI已經從甲骨文租用了大約1.6萬顆p00芯片,成為該公司此類芯片最大客戶。

6月19日,馬斯克在社交平台X上表示,戴爾正在組裝xAI在建超級電腦的一半機架,日本SMC組裝另一半。7月9日,xAI已結束與甲骨文擴大現有協定、租用輝達芯片的洽談。甲骨文在去年9月表示,將向xAI提供雲基礎設施以訓練AI模型,但未透露合約價值和期限。今年5月有報道稱,兩家公司接近達成擴大合作關系的協定,xAI將斥資約100億美元向甲骨文租用雲伺服器、為期數年。

馬斯克稱,xAI的10萬個p00GPU 已經投入到 Grok3模型的專項訓練中, 預計將於 今年12月前 完成訓練。

目前,xAI已經釋出了Grok-1、Grok-1等多個版本的模型。今年釋出的Grok-1.5模型已具備長上下文能力,而Grok-1.5V則有了影像理解能力。

按照計劃,xAI將在8月份釋出Grok2。馬斯克的最終目標是在今年12月之前訓練出「按每項指標衡量都是世界上最強大的人工智慧」——Grok3。

相較於其他競爭對手,xAI入局較晚,在模型參數列現上也不突出。但財大氣粗的馬斯克表示,「我們的根本競爭力有賴於比其他任何人工智慧公司更快。」