當前位置: 華文世界 > 科技

淺談智慧園區大數據分析技術

2024-07-23科技

來源:廣東建科建築設計院

基礎數據是智慧園區的基礎,基於基礎數據的分析、處理及整合,可以協調不同業務、不同領域、不同部門之間的業務處理,實作園區資源的綜合利用,在大數據技術領域,主要目的是圍繞打造資訊優勢並向決策優勢轉換的發展目標,透過突破高效、穩定、易用、安全的大數據分析處理技術,解決當前數據資源利用單一、分析挖掘手段缺乏、智能化補助熱量力低的問題,為智慧園區建設提供支撐。大數據關鍵技術的能力將瞄準在平台運算處理能力和對業務的支撐,最佳化、提升平台儲存和運算能力,進一步對跨系統及各類數據進行整合,提升數據分區二次儲存能力,滿足數據支撐不同類別的業務需要。對行業業務數據進行積累和沈澱,形成可復用演算法庫。因此,基於大數據平台的分析、處理及融合的相關技術是解決支撐平台能夠智能執行的關鍵。

1、海量數據儲存技術

針對不同套用場景滿足海量數據儲存管理需求,提供異構數據統一管理,支持關聯式資料庫、分布式檔案系統、分布式數據庫、圖數據庫的數據儲存。

2、多種計算模式的海量數據平行計算技術

針對不同數據處理需求特征,提供涵蓋批次計算、流式計算、圖計算多種計算模式,為大規模數據高效挖掘分析提供計算支撐。提供批次處理計算框架、流處理計算框架、圖計算框架等計算引擎,並對集群的大規模計算資源進行統一管理。

3、大資料探勘引擎技術

實作大資料探勘平台技術,為業務分析人員提供圖形化大資料探勘演算法執行、監控功能以及圖形化大資料探勘流程構建與執行功能;為分布式開發人員提供大資料探勘演算法開發基礎軟件環境以及工具庫;提供大資料探勘演算法、流程管理功能,整合Mahout、MLib開源分布式挖掘演算法,支持分布式挖掘演算法註冊與搜尋。

4、大數據互動式分析技術

實作海量數據互動式內容分析,一方面提供互動式數據操作介面,支持select、join、insert、union、avg、group等典型SQL操作;另一方面封裝數據分析典型需求,支持全域有序數據重組、數據統計、數據抽樣等一鍵式數據分析。降低數據分析人員的分析復雜度,提升數據內容分析效率。