當前位置: 華文世界 > 科技

雲天勵飛釋出邊緣裝置「深目」AI模盒 讓每個企業都擁有專屬大模型

2024-03-29科技

在成功登陸科創板後的第一年,雲天勵飛再次證明了其在人工智慧領域的創新實力。

在人工智慧領域,大模型的套用場景落地一直面臨著眾多挑戰,尤其是在邊緣場景中的實際套用。

3月28日,雲天勵飛舉辦AI大模型產品釋出會,正式釋出邊緣裝置「深目」AI模盒,以其獨特的演算法芯片化技術和成本優勢,打通人工智慧大模型技術在場景落地的「最後一公裏」。

「深目」AI模盒的問世,是雲天勵飛圍繞其底層演算法芯片化技術能力,特別是大模型技術快速叠代的成果。該模盒搭載了雲飛勵天自研的大模型推理芯片DeepEdge10以及自研多模態大模型「雲天天書」,具備演算法邊緣側線上學習能力,從而實作大模型普惠化。

據了解,「深目」AI模盒能夠實作「3個90%」——覆蓋場景超過90%,演算法精度超過90%,使用成本下降90%,幫助更多中小企業客戶輕松使用大模型。

在釋出會上,雲天勵飛與鵬城實驗室、之江實驗室、中國電子、華為、華潤數科等單位成立「深目2.0」生態聯盟,共同探索更多大模型落地套用路徑。

值得一提的是,雲天勵飛還宣布「雲天天書-2.0-68B」版本免費向合作夥伴開放;即日起預訂「深目」AI模盒,即有機會獲得邀約測試的機會。

十年磨一劍,從「深目」人工智慧產品到「深目」AI模盒

雲天勵飛董事長兼CEO陳寧博士在釋出會上表示,AI商業化將經歷AI方案化、AI營運化、AI產品化三個階段,而雲天勵飛的業務布局也對應了AI商業化的三個階段,涵蓋了AI方案、AI營運和AI產品三大板塊。

在AI方案層面,雲天勵飛已經形成了成熟的城市級行業解決方案,包括安防、交通、城市治理和人居生活等領域,並在AI教育和低空經濟等新興領域取得了突破。AI營運層面,雲天勵飛正致力於智慧算力營運、數據營運和新能源營運,以推動其業務的多元化發展。

而在AI產品層面,標準化智慧硬體產品是雲天勵飛的戰略重點。雲天勵飛正在透過端、邊、雲三個不同的計算節點和產品形態,推動AI從方案化走向營運化,最終實作標準化智慧硬體化。在這一過程中,「深目」AI模盒的釋出,不僅是雲天勵飛在邊緣裝置領域的一次重大突破,更是把雲天勵飛大模型透過演算法芯片化能力平台「硬體化」的一次重要嘗試。

事實上,雲天勵飛的第一款產品也叫「深目」,是一款基於CV小模型的人工智慧產品,是全球第一個城市級動態人像辨識系統,開啟了「AI+安防」新紀元。

陳寧博士表示,「在成功登陸科創板後,我們希望抓住IPO和GPT的雙重機遇,於是選擇了多模態大模型與國產工藝的邊緣推理芯片的技術融合作為二次創業的方向,這是雲天勵飛十年來始終堅持的‘演算法芯片化’演進路線,也是我們以‘深目’命名該產品的原因。希望深目2.0可以真正給人工智慧行業帶來全新的體驗,助力人工智慧行業解決長尾場景的碎片化問題,解決線上自學習的問題,能夠真正讓AI在更多的場景、更多的行業實作價值的閉環。」

把大模型「裝」進小盒子,千元成本擁有專屬大模型

雖然名字未變,但無論是在技術底座還是場景套用層面,「深目」AI模盒都有全新升級和全面拓展。

事實上,在人工智慧領域,大模型的訓練和套用一直是一個重要的話題。然而,傳統的訓練方法往往需要大量的計算資源和時間,而且訓練出的模型在新的套用場景中可能需要進行大量的調整和最佳化。這種模式不僅成本高昂,而且效率低下。為了解決這個問題,邊緣計算和大模型的結合成為一種新的解決方案。

邊緣計算是一種分布式計算的架構,它將數據處理的任務從中心伺服器轉移到網路的邊緣,即數據產生的源頭。這樣可以減少數據傳輸的延遲,提高數據處理的效率。而大模型可以在邊緣裝置上進行快速的推理和套用。

雲天勵飛副總裁羅憶表示,邊緣大模型+邊緣微調的模式可以解決兩個核心問題:一是對於大部份的場景而言都有一個「起步的演算法」,可以避免從零開始訓練模型,大大節省了時間和資源。二是針對新的套用場景不再需要將數據傳回中心伺服器進行訓練,而是在邊緣裝置上進行微調,提高套用效率的同時,還可以降低套用成本。

區別於主流的訓推一體機百萬級的售價,「深目」AI模盒售價僅千元,用單手就能托起,搭載了雲飛勵天自研的大模型推理芯片DeepEdge10以及自研多模態大模型「雲天天書」,具備演算法邊緣側線上學習能力,可實作演算法覆蓋場景超過90%,演算法精度超過90%,使用成本下降90%,讓人人都能根據自身場景需求,利用大模型能力,訓練出可實戰套用的演算法,讓大模型唾手可得。

「深目」AI模盒的核心優勢在於其能夠以更低的成本和統一的技術平台,解決多類細分場景中精度不足、成本過高、訓練周期長和數據需求量大等問題。這是因為「深目」盒子的算力基礎源於雲天勵飛去年推出的大模型推理芯片DeepEdge10,該芯片采用了14奈米國產工藝Chiplet技術,專為大模型推理計算而設計。這為AI在更多場景、更多行業的套用提供了可能,使人工智慧技術能夠在各行各業實作價值閉環,真正落地。

透過大模型和芯片能力「裝」進小盒子,使用者可以透過零學習成本,快速訓練出自己需要的演算法。「深目」AI模盒不僅最佳化了面向邊緣的推理算力,支持大模型的多模態處理和微調,實作了在邊緣端的自學習、自前進演化,還支持少量數據的線上微調和訓練,使得客戶在極簡使用者互動前提下能夠實作微調訓練的「越用越聰明」。

會上,雲天勵飛釋出了「雲天天書」3.5版本多模態大模型。據了解,「雲天天書」自2023年初正式推出,至今已完成3個版本的叠代,預計今年6月將叠代4.0 V版本。

具體而言,使用者可以基於「深目」盒子的預訓練長尾演算法,根據自身場景需求,在邊緣端完成演算法微調。基於「雲天天書」大模型的泛化和學習的能力,客戶部署演算法後,大模型能夠根據現實套用場景情況,線上學習、最佳化演算法,不斷提升演算法精度,實作「場景演算法,秒速訓練」的效果。

堅持演算法芯片化,建設生態推動人工智慧技術的實際落地和價值閉環

在3月24日,億歐釋出的【2024中國「百模大戰」競爭格局分析報告】中提到,在當前「百模大戰」中,眾多廠商開始探索套用場景落地並取得初步成效,作為典型案例,雲天勵飛自研大模型「雲天天書」包含語言大模型、多模態大模型等不同系列,在C-Eval、CMMLU等權威測試中多次獲得第一,具備業界領先的圖文數據理解和問答等基礎能力,針對行業場景可快速構建出高效、智慧的解決方案及系統套用,目前已在政務、交通、警務、企業辦公等領域探索落地。

雲天勵飛大模型技術和AI技術中心的負責人肖嶸博士分享了雲天勵飛在獲取高品質數據方面的努力和策略。他指出,隨著互聯網數據的趨同和吃幹榨盡,高品質的行業數據成為關鍵資源。雲天勵飛正與行業合作夥伴共同探索和共創行業大模型,以提供更精準的行業解決方案。

在本次釋出會上,雲天勵飛還邀請了全國百余家頭部渠道和代理商合作夥伴,以及眾多高校、國家實驗室、科研院所、營運商和大型央企參與。這些合作夥伴將圍繞一系列技術路線和產品,共同探索和開發更多的套用,以實作長時間、大規模的使用和技術貢獻。

陳寧博士表示,在AI行業,單一的產品或技術往往難以解決復雜的問題。因此,構建一個涵蓋不同領域專業知識和技術的生態系至關重要。這個生態系不僅能夠促進技術的快速叠代和創新,還能夠為行業提供客製化的解決方案,從而賦能更多的企業和使用者。

多模態大模型在邊緣計算中的訓練和推理一體化,尤其是演算法與芯片的深度融合,被認為是實作AGI的關鍵技術方向。隨著AI技術的深入發展,越來越多的場景被論證為適合套用多模態大模型。然而,仍有許多場景尚未觸及,這一方向不僅需要技術的不斷突破,還需要面對商業模式、市場等多方面的挑戰。這需要整個生態系的共同努力。透過廣泛的合作,可以更快地發現和解決問題,加速AI技術在各行各業的套用。

在本次釋出會上,雲天勵飛與鵬城實驗室、之江實驗室、上海交通大學城市治理研究院、哈工大深圳研究生院、中科院深圳先進研究院、中國電子、華為、深圳移動、深圳電信、深圳聯通、華潤數科、神州數位、中國鐵塔深圳分公司、有人物聯網、雲賽智聯等單位共同成立「深目2.0」生態聯盟,共同探索更多大模型落地套用路徑。

為助力每一位AI探索者,雲天勵飛宣布「雲天天書-2.0-68B」版本免費向合作夥伴開放。合作夥伴可免費獲取「雲天天書-2.0-68B」部署包及6個月推理服務授權,免費使用天書平台內建的管理、支撐、套用及API等服務,快速構建場景套用。同時,即日起預訂「深目」AI模盒,即有機會獲得邀約測試的機會。

此外,雲天勵飛正在落地人工智慧產業基金,透過投資並購在可穿戴裝置、在交通、在智慧的硬體、在機器人等領域構建更豐富的生態。

3月22日,雲天勵飛宣布收購智慧穿戴方案設計頭部公司岍丞技術,探索「大模型+智慧可穿戴」深度融合。除了收購岍丞技術外,雲天勵飛還投資了智慧互通、臻識科技、神州雲海等在動態停車、靜態停車、全像路口及清潔機器人等方向的龍頭企業,並作為創始股東成員之一參股深圳國創具身智慧機器人有限公司,提供AI芯片、大模型領域的技術支持。

陳寧博士表示,「我們將繼續依托演算法芯片化,圍繞多模態大模型和AI芯片技術,透過商業創新、市場合作、投資並購等方式逐步構建各項業務生態,推動人工智慧技術在千行百業的實際落地和價值閉環。」