當前位置: 華文世界 > 科技

酷克數據亮相2024可信資料庫發展大會 以數智化創新助力產業發展

2024-07-22科技

2024可信資料庫發展大會(TDBC)於7月16日~17日在北京舉行。會上,中國信通院公布 2024 年上半年「可信資料庫」系列評測結果。酷克數據旗下的企業版 HashData Enterprise 雲原生資料倉儲(以下簡稱「HashData 雲數倉」)透過分布式分析型資料庫基礎能力產品測試並獲證書,同時入選中國信通院【中國資料庫產業圖譜(2024)】。酷克數據解決方案架構師吳昊受邀參與「電信行業資料庫套用創新分論壇」,並行表主題演講。

頻獲行業認可 HashData 透過「可信資料庫」評測

經過嚴苛的測試和評審,2024 年上半年,共有 23 家企業的 27 款產品透過了本批次可信資料庫 31 項測試,中國信通院雲端運算與大數據所大數據與區塊鏈部主任姜春宇為透過評測的企業頒發證書。

酷克數據旗下的企業版 HashData 雲數倉透過分布式分析型資料庫基礎能力產品測試,獲評「可信資料庫」。本次評測依據【大數據 分布式分析型資料庫技術要求與測試方法】,全面測試了 HashData 雲數倉在基本功能、運維要求、相容性要求、安全性要求、容錯要求以及擴充套件性要求這 6 大方面的能力。測試結果表明,HashData 雲數倉在分布式分析型資料庫的功能完備性、易用性、通用性等方面均符合標準要求。

產品介紹

HashData 雲數倉是酷克數據基於自有開源資料庫 CloudberryDB 內核增強,推出的一款企業級分布式分析型資料庫系統,具備高彈性、高效能、高可用、低成本等特性。該系統采用存算分離的雲原生系統架構,實作了儲存、計算、後設資料分離。在統一的後設資料管理下,提供全域數據管理、多模態分析計算能力,支撐全場景數據分析。

HashData雲數倉架構圖

與傳統架構的資料倉儲系統相比,HashData 雲數倉在大規模集群建設時,能夠實作更大的系統彈性、並行性,並大幅降低硬體成本,更符合當前中大型使用者的數位化轉型需求。截止目前,HashData 雲數倉已套用於金融、營運商、能源等眾多行業頭部企業與大型央國企的資料倉儲系統,最大客戶規模超過 35000 個節點。

核心特性

·存算分離的彈性架構,克服傳統 MPP 局限性:基於存算分離的架構,實作了基礎設施資源和套用解耦,可以根據計算集群的工作負載變化,靈活、動態調配計算集群資源。計算集群間效能相互隔離,資源和操作完全獨立,避免產生相互競爭 CPU、記憶體和 IO 的情況,幫助使用者實作系統層面的資源使用效率提升。

·OneData,實作真正意義上的企業級統一數據檢視:真正實作全部數據資產的統一數據平台納管,建立企業級統一數據檢視,融合各種數據平台、資料倉儲與數據集市,大幅降低數據治理復雜度,縮短數據加工鏈路,避免數據冗余,避免數據孤島,提升業務使用數據的敏捷性。

·建立湖倉一體體系,實作數據高效融通:在滿足上層套用的同時,充分考慮了大型企業的數據中台技術框架,實作數據湖與資料倉儲無縫融合。透過外部表和連結器的方式與基於 Hadoop 生態的數據湖進行整合,在企業內部形成混合架構的數據平台體系;也可實作基於統一共享儲存的融合架構,以 HashData 集群和 Spark 集群分別支撐不同業務場景,數據以 ORC 格式統一儲存在共享儲存上,避免了不同集群間重復匯入匯出數據,實作湖倉業務數據和後設資料真正融合。

·優秀的整合能力,構築完善的上下遊生態:提供了豐富的分析介面,對各種開發語言和上下遊生態軟體充分相容,能夠快速實作與企業報表指標工具、智慧統計工具、數據洞察工具、自助分析工具、研發雲平台等系統的相容適配,面向使用者提供高效的數據分析能力。

·容器化部署能力,幫助企業構建彈性數據底座:突破了網路、儲存、排程、管理等難點,透過采用 K8S+HashData 的技術路線,實作了秒級快速擴縮容、讀寫分離、高可用、資源敏捷交付等能力,快速滿足業務發展需要,進一步提升資源利用率。

·結合自研 AI 工具,提供多樣化的分析計算能力:實作了 ANSI SQL 2008 和 2003 OLAP 標準,支持 JDBC 和 ODBC 介面,擴充套件了分析能力,支持多種程式語言,並原生支持 Apache Madlib 和 PostGIS,在 MPP 架構上支持多種分析形式,同時相容業界常用的 ETL 和 BI 工具。結合酷克數據自主研發的下一代 In-Database 高級分析和數據科學工具 HashML,提供豐富的 AI 演算法和模型能力,支持機器學習、深度學習演算法及預訓練大模型,共享雲數倉的儲存和計算資源,降低了部署成本和復雜度,為開發者提供了統一的數據查詢、分析、建模環境。

·高效運維監控平台,降低了資料庫管理成本:融合雲端運算技術,提供了自動化運維監控平台 CloudManager,透過對各類雲平台資源的統一管理,整合資料庫集群的監控、運維、管理等功能,建立統一的數位化管理運維平台,實作圖形化、自動化操作,及時、高效應對資料庫故障,大幅降低了資料倉儲的運維管理成本。

HashData 入選中國資料庫產業圖譜

會上,中國通訊標準化協會互聯網與套用技術工作委員會主席何寶宏代表中國通訊標準化協會正式釋出【中國資料庫產業圖譜(2024)】。圖譜梳理了中國當前資料庫產業鏈上下遊發展狀況,研判資料庫產品分類及分布態勢,探索技術發展方向,洞察產業發展現狀,旨在全面客觀展現過去一年中國資料庫產業中的關鍵領域、環節和代表企業。

HashData 雲數倉作為酷克數據旗下的重要產品,憑借其出色的技術實力和市場表現,成功入選了中國信通院釋出的【中國資料庫產業圖譜(2024)】資料庫主流產品-分布式分析型資料庫競爭者板塊。

電信行業資料庫套用創新分論壇主題演講

電信行業資料庫套用創新分論壇上,吳昊指出,行動網際網路的發展導致電信行業數據量激增,這對數據平台的建設提出了前所未有的挑戰。從解決單點業務問題到垂直大數據套用,再到企業級大數據中心的構建,這一系列的演變,不僅要求數據平台在數據處理和業務支撐上具備更強的能力,更重要的是,催生了一種全新的數據思維。在這種新思維下,數據洞察不再依存於基於復雜模型的抽樣理論,而是基於全量數據進行分析,進行全量計算,從而降低對復雜模型的依賴。

這要求數據平台必須擁有出色的處理能力和高度的靈活性,以便能夠迅速適應不斷變化的數據環境和業務需求。然而,傳統的 MPP 資料庫由於采用了儲存與計算緊密耦合的架構,導致其彈性伸縮能力不足,難以滿足當前數位化轉型需求。為了解決這些挑戰,需要采用新的技術架構和管理方法,以提高數據平台的靈活性、可延伸性和安全性。

針對上述挑戰,吳昊詳細介紹了基於存算分離架構的 HashData 雲原生資料倉儲的獨特優勢。他強調,HashData 采用後設資料、計算和儲存三者分離的架構,能夠更好地適應跨集群、跨中心以及跨雲中心的數據存取。HashData 利用統一的後設資料和儲存服務,構建了具有權威性的企業級數據檢視,使得多個計算集群能夠無縫共享數據。借助雲端資源的靈活伸縮性,不僅顯著提升了運維效率,還降低了系統復雜度,並成功消解了木桶效應等潛在問題。吳昊進一步分享了 HashData 在電信行業的實際套用案例:

·基於信創底座構建湖倉融合的數據中台:某大型營運商選用 HashData 進行數據中台信創升級改造。HashData 運用雲原生技術重構大數據算力排程引擎,並基於客戶信創底座構建多樣化分析平台。該平台融合現有大數據體系,支持批次和準實分時析,采用聯邦 HDFS 統一儲存、管理多源異構數據,實作數據一次入湖、直觀分析。同時,支持多引擎融合,允許使用者根據需求靈活選擇計算引擎,並能根據租戶需求隔離計算業務集群,彈性調整算力。基於存算分離架構,該平台能夠滿足各類業務場景的技術需求,實作業務資源需求快速交付,歷史數據平滑過渡,核心技術自主可控,為使用者業務增長提供了強有力的支持。

·基於 K8S 打造雲原生數據平台:某營運商聯合酷克數據團隊,突破以往容器化僅用於無狀態套用場景或開發測試環境的限制,采用 K8S+HashData 的技術路線,在國內率先建成真實生產環境下的容器化部署大規模雲原生資料倉儲。相比原有數據平台,基於容器化部署的 HashData 雲數倉,具備高可用、高並行、計算資源水平無限擴充套件、秒級擴縮容等能力,擴縮容期間不影響業務連續性,實作了計算資源快速部署、高效交付的建設目標。

最後,吳昊展望了存算分離架構在電信行業的廣闊前景。他認為,隨著技術的不斷進步和業務的持續發展,存算分離架構將在更多領域發揮重要作用。

結語

TDBC2024可信資料庫發展大會的成功舉辦,不僅展示了中國資料庫產業的最新成果,也為行業未來的發展指明了方向。酷克數據旗下的HashData雲數倉在本次大會上大放異彩,不僅透過了「可信資料庫」系列評測,還成功入選【中國資料庫產業圖譜(2024)】,充分證明了其在分布式分析型資料庫領域的強大實力和市場認可度。吳昊在電信行業資料庫套用創新分論壇上的精彩演講,更是進一步闡述了HashData雲數倉在應對電信行業數位化轉型挑戰中的獨特優勢和實際套用價值。展望未來,隨著技術的不斷進步和業務的持續發展,HashData雲數倉有望在更多領域發揮重要作用,推動中國資料庫產業邁向新的高度。