當前位置: 華文世界 > 科技

知識點滴 | AI工程化

2024-07-29科技

概 念

AI工程化是使用數據處理、預訓練模型、機器學習流水線等開發AI軟件的技術統稱,並且幫助企業更高效地利用AI創造價值。簡單的理解就是,目前已經成熟的軟件工程將「軟件」擴充套件到AI後的一種針對AI開發特點的適配與前進演化,透過系統化、規範化、可度量地使用各種工程方法和工具,確保AI軟件能夠達到預期。Gartner將「AI工程化」列為九大重要戰略科技趨勢之一。AI要成為企業的生產力,就必須以工程化的技術來解決模型開發、部署、管理、預測等全鏈路生命周期管理的問題。

AI工程化的支柱

AI工程化立足於三大核心支柱,即數據運維、模型運維和開發運維。強大的AI工程化策略將促進人工智能模型的效能、可延伸性、可解釋性和可靠性,完全實作人工智能投資的價值。

實作路徑

目前行業內對於AI工程化的實作路徑主要有兩種,一種是AI開發框架型,即原本就提供AI開發服務的各種深度學習框架,將服務延展而來,其優勢在於AI框架原本就是AI領域的基礎軟件,處於承上啟下的位置,提供面向AI工程化服務的「近水樓台」。國外以Google、Meta等科技巨頭為代表,國內有華為、百度等,以TensorFlow、PyTorch、MindSpore、PaddlePaddle等各自的深度學習框架為基礎,提供一系列與AI工程化相關的生態技術和工具,如領域套件、模型視覺化工具、偵錯調優工具、高級API等。另一種是AI服務平台型,即過去為企業提供算力、演算法、數據相關服務的企業(如阿裏),隨著客戶需求的發展專門提供面向AI工程化的能力。

行業影響

第一,AI工程化從技術上加速了AI套用的落地速度。AI工程化是人工智能落地的必經之路,也正在成為人工智能行業廠商的工作重心。AI工程化意味著技術的成熟和良好的使用體驗,對希望借助人工智能實作智能化的企業而言,能顯著降低技術遷移成本,更容易組建所需的人才隊伍。因此,在AI工程化的技術和套用方向中,既要整合傳統軟件行業可持續交付和研發的DevOps體系,也要整合AI研發、落地的MLOps,只有兩者融合才能解決AI工程化問題。第二,AI工程化必然帶來套用開發的低程式碼趨勢。Gartner預測,到2025年,70%的新套用將由低程式碼/無程式碼技術開發。人工智能套用的場景呈現出場景多元日益增長、使用者體驗要求高、叠代迅速等特點,傳統的開發方式已經無法滿足企業客戶的需求。因此,低程式碼化的人工智能開發平台幾乎成為了必然選擇。第三,AI工程化使人工智能和大數據的合作將更加緊密。數據,尤其是大數據和演算法、算力的融合,現在正成為人工智能特別是機器學習等行業的主要發展方向。在AI與套用結合的趨勢下,AI與大數據融合,帶動產業數碼化、智能化、合規化,提升產業效率,開拓產業邊界,創造產業價值,提升公平性,並反哺行業獲得更高生產力(演算法、算力)、生產要素(數據)的提升。第四,AI工程化使數據安全、數據私密、AI可信等涉及到私密和合規的要求越來越高。目前【數據安全法】【個人資訊保護法】的推出,數據安全、數據私密、AI可信等問題日益受到重視。數據要素的「流通共享與協同套用」對於實作數據要素價值釋放起到了核心的作用。業內專家認為,分離數據的持有以及數據衍生知識的使用、個人資訊和企業數據資產的防護、數據安全/人工智能可信技術和數據合規的鴻溝、立法和行業標準的加速完善等,都是人工智能套用必須面對和解決的問題。

發展方向

未來,AI工程化領域亟待推進的事情有三件:一是數據和算力的雲原生化,二是排程和編程範式的規模化,三是開發和服務的標準化、普惠化。

AI工程化落地的首個基礎能力就是平台雲原生化。雲原生是目前最普適的方法,所倡導的開放、彈性和生態等原則可以迅速拉低AI平台的實作門檻。同時,雲原生強調的統一部署、標準化、OpenAPI、彈性等要素都比較契合機器學習平台的環境復雜、需要快速叠代等特點。機器學習平台對超大規模模型的支持能力一定程度反映了其自身的成熟程度,是其支持AI業務模型和能力升級的體現。這也是模型超大規模化成為AI工程化落地第二個基礎能力的主要因素。在這方面,阿裏雲、谷歌等都有很多專案,影響較大。AI工程化的核心是構建模型、訓練模型、部署模型等,如何將這一過程與具體的業務場景結合,還需要一套工具來完成管理建模、訓練和部署等工作。未來,這些模型的開發與服務工具必將走向標準化。

AI工程化的市場結構

人工智能、大數據、雲端運算企業都可以在AI工程化中找到自己的位置,找到自己的商機。那麽AI工程化的市場結構又是如何呢?Gartner最新釋出了兩份AI魔力象限報告,一份是數據科學與機器學習平台(DSML報告)和雲AI開發者服務報告(CAIDS報告),是市場發展的「格局圖」。阿裏雲成為DSML報告4年歷史以來首個入選的中國廠商。在CAIDS報告中,國內的阿裏雲、百度雲、騰訊雲都進入報告。從兩份AI魔力象限報告中可以看出,中國企業的實力正在增強。