當前位置: 華文世界 > 科技

微軟被曝正自研AI大模型:5000億個參數,與谷歌和OpenAI競爭

2024-05-08科技
科技巨頭微軟或正在研發參數達5000億的全新AI(人工智慧)大模型,將正面叫板谷歌和OpenAI。
當地時間5月6日,據外媒報道,微軟正在研發一款名為MAI-1的最新AI大模型,其規模遠超出微軟此前推出的一些開源模型,在效能上或能與谷歌的Gemini 1.5、Anthropic的Claude 3和OpenAI的GPT-4等知名大模型相匹敵。微軟或將在5月21日開始舉辦的Build開發者大會上演示這款新模型。
據報道,MAI-1的開發由前谷歌AI領導人、曾擔任AI初創公司Inflection執行長的穆斯塔法·蘇萊曼(Mustafa Suleyman)領導。就在今年3月,剛剛領投完Infection的最新一輪融資,微軟便從Infection挖走了包括蘇萊曼在內的兩位聯合創始人以及部份員工。有知情人士透露,微軟為此向Infection支付了超過6.5億美元。
盡管MAI-1可能借鑒了Inflection旗下模型的部份技術,有微軟員工表示,MAI-1是一款全新的大語言模型,擁有約5000億個參數,遠超微軟此前訓練的任何開源模型。不到一個月前,微軟剛推出了一款名為Phi-3的小型AI模型,其中Phi-3 mini被最佳化至可部署在手機上,擁有38億參數,經過3.3萬億token的訓練,微軟稱其效能與GPT-3.5等模型相當。
相比之下,MAI-1的規模要大得多,也需要更多的算力投入和訓練數據。為了訓練該模型,微軟已經配置了大量包含輝達GPU的伺服器集群,並從各類來源收集訓練數據,包括由OpenAI的GPT-4生成的文本和公共互聯網數據。這或將使MAI-1與OpenAI的GPT-4處於相似的水平,據傳後者擁有超過1萬億個參數。
Phi系列模型和MAI-1的研發體現出微軟或在AI領域采取了雙重策略,一邊為行動裝置開發小型本地模型,一邊開發由雲端支持的更大規模的模型。不過,即使在微軟內部,MAI-1的確切用途也尚未得到確認。
更重要的是,MAI-1體現出微軟並不希望在AI領域完全依附於合作夥伴OpenAI的技術。來自OpenAI的技術正在驅動微軟的各類生成式AI功能,包括整合在Windows中的聊天機器人。此前,有來自微軟AI平台團隊的員工抱怨稱,公司的AI戰略過於關註與OpenAI的合作關系,使得微軟對AI原創研究的預算減少。
6日當天,微軟技術長凱文·史考特(Kevin Scott)在領英上發帖,間接回應了關於MAI-1的報道。他表示,OpenAI使用微軟構建的超級電腦來訓練AI模型,而微軟的研究部門和產品團隊也在構建AI模型:「AI模型幾乎出現在我們的每一項產品、服務和營運流程中,制作和營運它們的團隊有時需要做一些自訂工作,無論是從頭開始訓練一個模型,還是微調別人構建的模型。未來將會有更多這樣的情況,其中一些模型的名字包括圖靈(Turing)和MAI。」
為了實作在AI方面的突破,微軟也在大力囤積算力資源。4月初,有報道稱微軟計劃到今年年底前囤積180萬塊AI芯片,意味著公司希望在2024年內將所持有的GPU數量增加兩倍。據知情人士透露,從2024財年到2027財年(到2027年6月30日結束),微軟預計將在GPU和數據中心上花費約1000億美元。
澎湃新聞記者 胡含嫣
(本文來自澎湃新聞,更多原創資訊請下載「澎湃新聞」APP)