當前位置: 華文世界 > 科技

挖掘數據生產力,數據編織成AI時代新趨勢

2024-04-03科技

數據作為一種新興的生產要素,被稱為數位時代的「新石油」,是基礎性資源和戰略性資源,也是重要的生產力。如何更高效地管理和利用數據,推動數據資源轉化為數位資產,成為了各行各業面臨的關鍵問題。

近兩年來,國家先後釋出【關於構建數據基礎制度更好發揮數據要素作用的意見】、【數位中國建設整體布局規劃】等政策,以促進數據、分析和AI在經濟中的套用。在【數位中國建設整體布局規劃】中還提及,到2025年要基本形成橫向打通、縱向貫通、協調有力的一體化推進格局,實作數據資源規模和品質加快提升,數據要素價值有效釋放,數位經濟發展品質效益大幅增強。

值得註意的是,目前數據編織平台正透過對數據的優質處理,為AI在學習訓練的過程註入更多「源頭活水」,從而進一步提升其效能和套用範圍。AI技術的不斷進步也推動數據構建架構的最佳化、更新,以適應新的生成模型需求。

由於對數據編織架構、數據產品交付以及支持生成式AI的整合數據的需求即將到來,數據整合工具市場正在蓬勃發展。數據和分析領導者應該利用這項研究來評估合適的供應商,以滿足他們的數據整合需求。

權威資訊科技分析公司Gartner連續三年將數據編織技術(Data Fabric)列為「十大數據和分析技術趨勢」之一。在該公司此前釋出的中國數據分析與人工智慧技術的相關報告中,數據編織技術與大模型一並被列為有望膨脹發展的技術。

Gartner高級研究總監張桐也表示:「數據、分析和AI用例的出現,以及快速變化的數據安全法規,導致了中國數據管理的復雜性和不確定性。數據編織能充分利用沈沒成本,同時也能為數據管理基礎設施方面的新支出提供優先級排序和成本控制指導。」

據悉,數據編織是一種設計框架,用於獲得靈活而且可復用的數據管道、服務和語意,涉及數據整合、主動後設資料、知識圖譜、數據剖析、機器學習和數據分類。能整合來自不同資料來源的數據,安全提供不同數據物件的「整合檢視」,將「整合數據」用於分析和操作。

數據編織相關技術的套用能提供值得信賴的數據基礎,提高生成模型的相關性和準確性,成為解決企業AI部署難題的重要路徑。與此同時,生成式AI也降低了數據管理的使用門檻,大大拓展了數據編織的套用規模。生成式AI與數據編織互利共進,正為數據管理市場帶來更大的發展機遇。

以全球性的制藥公司為例,在進行藥物的生產、商品化、零售營運的過程中,會用到大量數據,後續生產的產品進入到醫院端,還需要進行各種臨床數據驗證,不同的階段都會出現不同的表現。在這個過程中,制藥公司不僅要獲取各種健康相關的數據,還要在每一個垂類中,針對面臨的難點、痛點,獲得高品質並且不違規、不會涉及私密侵犯的數據。

面對如此龐大的數據量,數據編織的重要性顯得尤為突出。鈦媒體APP了解到,應對數據量陡增,數據編織被認為能為海量數據快速、有序分析提供有效方案,以虛擬化的方式對數據進行「編織」,使得數據無需復制就可以整合,且不受資料來源、格式的限制,還隱藏了數據本身的復雜性和差異性。

在近期召開的數據編織研討會上,數據管理領域的資深專家、被稱為「邏輯數據編織之父」的Denodo技術公司執行長兼創始人Angel Viña表示,從物理資料庫、資料倉儲到現在的數據湖,傳統的數據管理側重於將數據集中到單個儲存單元中,需要大量開發人員,一旦資料來源變化頻繁更新,獲取數據的效率就會大幅降低。邏輯數據編織可以使用更少的資源、更低的成本,實作更快的數據獲取時間,也由此成為數據管理新的發展方向。

據了解,Denodo於1999年創立於西班牙,目前已為金融保險、制造、高新技術、零售、教育、醫療、能源等行業客戶提供服務,並且多年蟬聯Gartner魔力象限數據整合工具領導者、Forrester Wave數據編織領導者位置。

2019年,Denodo正式進入中國,在基於企業數位化轉型各類計畫場景與需求,為企業不同關鍵角色帶來顯著價值及成果。如幫助CDO及數據管理部門打造數據民主化的數據自助服務,幫助CIO及IT部門實作IT 基礎設施現代化,幫助COO及營運部門提高執行效率、靈活性和韌性,為CMO、CRO及市場與收入部門打造改善客戶體驗的數據基礎,以及實作風險、合規的集中管理等。

此外,在大量數據需求的基礎下,Denodo進行統一的數據處理,以便其獲得更高品質的資訊,並在需要時「隨取隨用」;而在IT領域,Denodo則支持數據遷移、相關數據的合規使用、建模過程等。

根據IDC機構調研的數據顯示,2023年,中國大數據市場規模達到194.8億美元,預計到2027年將增長至425億美元,CAGR(復合增長率)將達到21.5%,硬體伺服器、AI數據儲存仍是投資重點方向。此外,企業認為有60%的業務數據是有價值的,而這些數據中僅有56%被實際分析;有18%的企業認為「缺乏高品質數據」是其在組織中使用生成式AI的障礙之一。

IDC中國高級分析師李浩然指出,決策者普遍預測企業未來的數據量、數據速度以及多樣性會增加,以需要滿足更加快速的業務決策和市場挖掘探索需求。同時,他還表示:「未來五年,資產績效管理、創新研發、數據探索將會更加重要,而數據編織作為一種最佳實作路徑,可以實作對數據更好的管理和價值挖掘。」

目前數據編織技術在國內的發展還處於早期階段,在政策利好及市場需求驅動下,中國數據市場規模正迎來快速增長,數據管理需求持續升高。對於中國企業來說,能否啟用數據要素、釋放數據價值,成為在激烈的全球競爭中取得先機的關鍵。(本文先發於鈦媒體 APP,作者|陳偉納)