當前位置: 華文世界 > 科技

阿裏雲國內首家支持Llama3.1訓練推理,提供免費算力

2024-07-24科技
潮新聞客戶端 記者 張雲山
7月23日,Meta開源最新Llama 3.1系列,包括備受關註的4050億參數 「超大杯」模型。阿裏雲魔搭社群第一時間上架全系列3款模型,阿裏雲百煉平台在國內首家推出針對Llama 3.1系列的訓練、部署、推理服務,企業和開發者即日起可在阿裏雲上基於其打造自己的專屬大模型。
阿裏雲國內首家支持Llama3.1訓練推理
Llama 3.1系列包括80億、700億、4050億參數版本,上下文長度擴充套件至12.8萬tokens,並增加了對八種語言的支持。其中「超大杯」4050億參數版本,是目前最大規模的開源大模型,在各項測評中能力表現突出,不過由於模型尺寸極大,本地開發部署難度極高。
為方便國內開發者,阿裏雲百煉平台推出針對Llama 3.1全系列的一鍵再訓練、部署、推理方案,且限時一個月為所有使用者提供免費算力額度。企業和開發者可在阿裏雲百煉模型廣場申請使用,透過後即可快速體驗Llama 3.1效果,並與其他模型進行直觀比較。
希望直接進行推理套用的使用者,可在百煉上點選模型偵錯、prompt模版等功能,快速基於Llama 3.1打造自己的AI助手。希望深度開發的企業,後續可結合企業數據集,一鍵啟動SFT全參訓練或LoRA高效訓練,並利用百煉RAG檢索增強、智慧體打造等能力進行套用開發。
在雲上開發和使用大模型具有諸多優勢。百煉平台融合了阿裏雲獲評產品力全球第二的AI基礎設施能力,企業和開發者能獲得豐富的AI計算資源和極致彈性,輕松完成對超大模型的深度開發、高效部署和高並行推理。在基礎設施層,阿裏雲靈駿智算集群具備高達十萬卡GPU的擴充套件性;在AI平台層,人工智慧平台PAI可10倍提升大模型訓練效能,並穩定執行千卡任務5周以上;在模型即服務層面,阿裏雲打造了國內最大規模的AI模型社群魔搭和模型服務平台百煉,提供從大模型選型、體驗到再訓練、部署、套用、推理的一站式服務。
作為中國雲端運算領導者,阿裏雲提出要做「AI時代最開放的雲」,全面支持中國大模型生態繁榮。從去年起,阿裏雲全尺寸、全模態開源了自研通義千問大模型,並深度支持對Llama、Mistral、Stable Diffusion、ComfyUI等開源模型的開發套用,以及百川智慧、智譜AI、零一萬物、昆侖萬維、vivo、復旦大學等眾多國內機構大模型的訓練推理。目前,阿裏雲已成為中國大模型的公共算力底座,超過一半中國主流大模型跑在阿裏雲上。
魔搭社群下載網址:
https://modelscope.cn/models
阿裏雲百煉網址:
https://www.aliyun.com/product/bailian
「轉載請註明出處」