智東西（公眾號：zhidxcom）
作者 | 香草
編輯 | 漠影
大模型訓練推理，最低能壓縮到多少成本？
智東西3月29日報道，昨日，AI科創板上市企業雲天勵飛（688343）交出了自己的答卷——重磅推出「深目」AI模盒，僅需千元成本即可實作邊緣側訓推一體。
雲天勵飛副總裁羅憶現場展示了深目AI模盒。這款用單手即可托起的小小盒子實作了「3個90%」，即覆蓋場景超過90%、演算法精度超過90%、使用成本降低90%，解決了大模型在場景落地最後一公裏的問題。
▲深目AI模盒
在雲天勵飛深耕的城市治理、智慧交通等領域，大部份場景屬於碎片化、頻率低的長尾場景，大模型的落地面臨演算法訓練成本高、缺乏訓練數據等行業痛點。傳統的訓推一體機價格普遍在百萬元級別，絕大多中小企業難以承受如此高昂的成本。
深目AI模盒應運而生。基於大模型和芯片兩個層面的架構革新，雲天勵飛成功將大模型「塞進」了小盒子，成為人人可用的「平民化」產品。
那麽，在技術層面，深目AI模盒是如何實作「3個90%」的？其具體能套用在哪些場景，解決什麽樣的問題？深目AI模盒的釋出代表了什麽關鍵節點，背後有著怎樣的故事？
智東西與雲天勵飛董事長兼CEO陳寧、雲天勵飛首席科學家肖嶸、雲天勵飛副總裁羅憶進行了深入交談，試圖尋找這些問題的答案。
一、自研多模態大模型+主控級SoC芯片，千元成本把大模型塞進小盒子
把大模型變「小」，離不開雲天勵飛背後長期積累的核心能力——演算法芯片化。
陳寧告訴智東西，深目AI模盒主要在兩個方面進行了重大的技術攻關。
一是多模態大模型架構革新。
深目AI模盒的大模型能力來源於雲天勵飛自研大模型「雲天天書」。該模型在去年4月推出，目前已完成3個版本的叠代，此次與深目AI模盒同步推出的是雲天天書3.5V版本，新增了多模態支持。據悉，雲天天書下一代4.0V版本將於今年6月推出。
▲雲天天書大模型的叠代行程
而針對深目AI模盒主攻的邊緣推理，雲天勵飛對雲天天書大模型進行了分層解耦、量化最佳化，使其能夠高效執行在邊緣的算力裝置上，不僅能進行推理，還能完成微調等一系列任務。
▲深目AI模盒的SPACE訓練推理引擎
透過集中的高效訓練架構，深目AI模盒對比全量訓練速度提升100倍，記憶體消耗降低至1/20；其采用混合精度訓練，99%的計算為int8+fp16精度，其他采用fp32精度訓練。
二是神經網路處理器及推理芯片設計最佳化。
深目AI模盒的算力基礎來源於雲天勵飛去年推出的14奈米Chiplet大模型訓推芯片DeepEdge10 Max。該芯片采用自主可控的國產工藝、國產RISC-V核，支持大模型訓練推理部署。
▲雲天勵飛自研芯片DeepEdge10 Max
針對邊緣計算，雲天勵飛透過自訂大模型專用指令集、專用算子，面向Transformer等基座大模型進行指令、工具鏈最佳化，使得一顆邊緣芯片上不僅能跑大模型，也能完成微調訓練。
▲深目AI模盒芯片核心
基於這兩個方面的演算法芯片化能力，深目AI模盒在邊緣場景的線上學習能力大幅提升。與傳統模式相比，演算法生產從7步縮短至4步，演算法調優則從7步縮短至3步。
▲演算法生產、調優步數壓縮
以雲天天書為基座模型，雲天勵飛與生態合作夥伴聯合完成預訓練場景演算法，再將其提供給廣大中小企業使用者。隨後，中小企業客戶可根據自身場景需求，在邊緣端完成演算法微調。在實際部署後，大模型的泛化和學習能力能夠根據現實套用場景情況自前進演化，線上學習、最佳化演算法，不斷提升演算法精度。
二、解決場景少、缺數據難題，看到「冰山之下」的長尾演算法
羅憶談道，AI的發展分為三個階段。
第一階段是技術找場景，基礎演算法首先實作突破，並在人臉辨識、語音辨識等頭部場景完成價值驗證。
第二階段是場景反哺技術，新的細分場景不斷反哺技術創新，倒逼演算法不斷變革。
第三階段是場景找技術，聚焦不同行業、不同場景需求，找到適合的技術來解決這些問題。
如今，我們正處在第一、第二階段轉換的關鍵時期，冰山之下隱藏著大量不容易被看到的長尾場景演算法。
▲冰山之下的「死亡之谷」
長尾演算法指的是除了頭部演算法外，大量使用頻率低、套用場景少的演算法，面臨著訓練數據少，甚至沒有訓練樣本的痛點。
例如在電腦視覺領域，人臉辨識、車牌辨識等頭部演算法已發展得較為成熟，但像辨識一種特定的產品、辨識一種危險的行為等細分演算法制約了AI落地行業的最後一公裏。
羅憶演示了深目AI模盒如何在數據少、無數據等極端情況下，快速完成演算法訓練。
1、演算法自學習，少量數據叠代後精度超90%
在演算法使用初期，只有少量數據，使用者如何才能快速訓練高精度演算法？
以店外經營為例，使用者需要訓練辨識演算法時，可以直接使用平台現有演算法對目標進行辨識，再對辨識結果標記「正確」或「誤報」，演算法就能透過自學習快速提升。經過1周叠代後，演算法精度可超過90%。
羅憶稱，雲天勵飛演算法訓練平台上提供了大量與生態合作夥伴共同打造的演算法商城，覆蓋14個大類、100+個小類、1000+演算法，使用者可以直接呼叫預訓練演算法，並上傳自身場景圖片完成演算法的微調和升級，快速訓練出高精度演算法。
2、極端場景零數據樣本，利用生成式AI合成數據
天災人禍等極端場景辨識訓練的數據幾乎空白，面對這樣「無數據」的情況，使用者該如何訓練演算法？
以加油站場景的吸煙辨識為例，這類危險行為往往伴隨著成不可挽回的後果，難以獲取真實樣本。平台可透過大模型能力生成在該環境抽煙的人物，並將數據用於演算法訓練中，填補訓練數據的空白。
使用AI合成數據來訓練演算法，不僅能夠填補數據空白，還能夠規避私密安全等問題，已經逐漸成為大模型時代下訓練新演算法和提升演算法精度的一條重要路徑。
3、辨識目標標準不統一，利用大模型泛化能力解決
以購物中心提袋辨識為例，羅憶演示大模型泛化能力如何解決辨識物件標準不統一帶來的演算法訓練難題。
大型購物中心一般沒有統一的結算中心，難以掌握逛街顧客是否消費，也難以評估行銷活動對實際消費轉化的效果，顧客是否提購物袋是判斷的重要標準之一。但各品牌購物袋的大小、顏色均不統一，且難以與顧客的背包區分，演算法無法精準辨識。
在雲天勵飛演算法訓練平台上，借助場景自適應能力，使用者可呼叫手提袋辨識演算法辨識所有的手提袋，再基於辨識結果標記進行特定手提袋的辨識訓練，從而實作專用門店手提袋的精準辨識。
三、填補模型計算市場空白，抓住生成式AI機遇二次創業
目前市面上主流的模型計算產品是百萬級的訓推一體機，其承擔著數百甚至千億級參數規模的大模型訓練推理等任務。邊緣側產品則比較少見，雖然有一些常規推理盒子類別產品，但其主要承載邊緣端的小模型，不具備承載大模型的能力。
在這兩類產品之間，存在巨大的市場空白——邊緣長尾演算法缺乏對應的大模型解決方案。
在大模型出現之前，這些低頻問題大多透過小模型演算法來解決。陳寧告訴智東西，對於大多數AI公司而言，其實每個小模型的演算法成本和周期投入與頭部演算法相差無幾，需要大量演算法工程師和算力，收集大量數據去解決。但由於使用頻率並不高，因此投入產出比不匹配。
▲深目AI模盒與常規推理盒子的對比
雲天勵飛看到了大模型在解決各類長尾問題上蘊含的潛力，透過深目AI模盒這個統一的技術平台，解決多類細分場景精度不夠、成本太高、訓練周期太長、需要的數據量太大等一系列痛點問題，推動AI真正能夠在更多的場景、更多的行業落地，形成價值閉環。
這也是雲天勵飛長期在技術落地探索路上的又一重要關鍵節點。
談到「深目」這個名字，了解雲天勵飛這家企業的讀者可能不陌生。2016年，雲天勵飛推出第一款產品——動態人像辨識系統「深目」，將科幻作品中的「天眼」第一次帶入現實。
此次推出的AI模盒，是雲天勵飛在2023年登陸科創板後推出的首款產品，也是其「二次創業」的第一款產品，因此再次以「深目」來命名。
當智東西問道，Sora引爆的文生視訊技術，對雲天勵飛所處的電腦視覺領域帶來了哪些機遇和挑戰？
肖嶸認為，Sora主要是一個增量式的進展，類似的生成技術被廣泛地套用在雲天天書大模型的研發當中，幫助生成一些缺乏真實數據的場景。
陳寧稱，相比震撼的視覺效果，雲天勵飛更關註Sora背後的技術突破在套用落地方面帶來的價值，如對世界執行規律的理解和解碼。雲天勵飛對自己的定位是做物理世界的解碼者，其發展路線也沿著這條路徑展開。
▲雲天勵飛的AI發展路徑
在AI方案化方面，雲天勵飛在安防、交通、城市治理、人居生活四個基礎行業打造了成熟的解決方案，並在教育、低空經濟等創新行業不斷探索新的套用，形成「4+X」行業解決方案。
隨後，基於在大量行業的落地經驗，雲天勵飛已形成數據營運、新能源營運平台，走向AI營運化。
結語：挖掘全新「AI+」路徑，打通大模型落地最後一公裏
推出深目AI模盒是雲天勵飛AI產品化路徑上的重要一步。據釋出會透露，此次釋出的是標準版型號，雲天勵飛今年還會釋出一款基於雲天天書4.0V、DeepEdge10 Pro芯片的輕量版產品，明年將推出基於DeepEdge10 Ultra芯片的旗艦版。
作為雲天勵飛二次創業的首款產品，深目AI模盒將於6月30日正式發售且面向所有客戶統一發貨，我們期待看到其在邊緣長尾場景中的實際套用，讓大模型在千行百業中轉化為物理世界的新質生產力。
