當前位置: 華文世界 > 科技

微軟上線 Azure H200 v5 系列 AI 虛擬機器:吞吐量提升 35%

2024-10-09科技

IT之家 10 月 8 日訊息,微軟公司於 10 月 2 日釋出博文,宣布面向客戶和合作夥伴,正式開放 Azure p00 v5 系列虛擬機器,幫助企業應對日益繁重的 AI 工作負載需求。

微軟在博文中表示:「p00 v5 系列虛擬機器,透過規模、效率和增強效能等, 推動客戶和 Microsoft AI 服務(如 Azure 機器學習和 Azure OpenAI 服務)普及和落地」。

OpenAI 的基礎設施負責人 Trevor Cai 表示,OpenAI 正在利用新的虛擬機器系列推動研究和開發,並為使用者微調 ChatGPT。

Cai 表示:「我們很高興能夠采用 Azure 的新 p00 虛擬機器。我們發現 p00 在最小遷移工作下提供了更好的效能,我們期待使用這些虛擬機器加速我們的研究,改善 ChatGPT 體驗,並推動我們的使命」。

Azure p00 v5 系列虛擬機器采用微軟方案實作「增強效率和效能」,包括 8 個輝達 p00 Tensor Core GPU,解決了企業使用者在計算能力方面捉襟見肘的困境。

IT之家援引微軟官方新聞稿,Azure p00 v5 系列虛擬機器在執行 LLAMA 3.1 405B 模型推理工作負載時, 吞吐量提升達 35%。

Azure ND p00 v5 系列虛擬機器最高提供 141GB HBM, 相比較上一代 p00 v5 提高了 76% ,此外頻寬為 4.8 TB/s,提高了 43%。