大數據時代，如何建設安防體系
大數據時代安防體系的設計思路與架構
1. 大數據時代安防體系設計思路
隨著海量數據的產生，安防行業也面臨著數據整合、儲存、分析套用等一系列問題。本文提出了一種基於大數據的安全防護體系建設思路，主要包括以下四點：
（1）安全資源：安全策略的執行主體，對接資訊通訊技術（ICT）環境資源並提供策略執行的結果資訊反饋。
（2）安全資源管控系統：決策指令（安全策略）的執行傳達者，透過對安全資源的能力排程及策略下發，實作「風險可控」。
（3）安全資訊感知系統：接收安全資源的數據，提供決策依據和決策執行的反饋資訊，實作「風險可知」。
（4）安全營運決策系統：基於安全資訊，透過安全執行進行安全決策，實作組織安全目標「風險可管」。
2. 安全大數據平台體系架構
在上述安防體系設計思路的基礎上，結合實踐特性，本文提出了安全大數據平台的體系架構，可概括為「一腦雙核，四輪驅動」。
（1）一腦雙核：安全數據中台、安全資源中台
以安全數據中台和安全資源中台為核心構建的智慧感知控制體系：數據中台提供安全數據采集、處理、分析、組織和整合的通道；資源中台是構建安全大數據平台的核心基礎，為各種安全套用提供數據基礎服務能力。
（2）四輪驅動：數據治理、安全事件、NIST 的 CSF、數據驅動
數據治理是指構建安全事件主數據體系，如資產、病毒、漏洞、行為、威脅情報庫、安全資源庫等；以安全事件為中心，持續動態檢測和響應，結合 NIST 的 CSF 等相關框架，構建資源中台，對外提供完整的安全能力和功能輸出；以數據驅動豐富的安全套用，透過各類安全套用融合聯動，促使安全從原來的被動、割裂走向融合、場景化且能夠統一管理。
3. 安全大數據平台數據架構
安全防護問題實質上就演變成了數據問題，如何采集、計算、儲存、融合分析數據，直至挖掘出安全威脅是整個安防體系需要考慮的核心問題。安全大數據平台的數據架構主要由數據采集層、數據計算層、數據服務層和數據套用層四部份構成。
（1）數據采集層：安防裝置、網路裝置、物聯網裝置等
負責采集與網路安全相關的數據和資訊，就像人類的眼睛、耳朵、鼻子，源源不斷地把脫敏後的安全數據傳輸到「安全大腦」，由「安全大腦」進行智慧的分析和決策。
（2）數據計算層：大數據湖
儲存網路安全大數據的平台，相當於人的記憶中樞。
（3）數據服務層：安全知識體系
包括各種威脅情報、安全資源庫、安全分析模型等等，是用於檢測、辨識、分析、溯源各類網路安全威脅的知識庫。
（4）數據套用層：智慧分析系統
采用人工智慧、資料探勘、視覺化計算等一系列分析技術，實作對安全威脅的分析研判和處置。
「大數據」時代 「大數據」是指一組數據集非常龐大且復雜，很難利用現有的資料庫管理工具進行處理。它有助於統一大型數據集，並能夠從分析中得出其它資訊，而不是來自具有相同數據總量的單獨的較小數據集。大數據時代的來臨，帶來了很多現實中的難題，為了解決這些難題需要新的技術變革，需要新一代的資料庫技術，業界稱之為大數據技術。在大數據套用時代，視訊因其資訊含量最高、數據量最大，分析運算最復雜而成為大數據時代采集分析傳輸儲存套用最具挑戰的國際技術難題！智慧視訊分析研究永無止境，分析演算法必須以監控視訊為資源，研究即時或歷史監控視訊中的目標特征提取、增強與行為分析等關鍵技術，才能推動監控視訊套用模式從事後被動處置向事前主動預防轉變。大規模數據在智慧城市系統流動過程中，出於傳輸效率、數據品質與安全等因素的考慮，需要對大規模數據進行預處理。大數據處理技術往往需要與基於雲端運算的並列分布式技術相結合，這也是目前國際產業界普遍采用的技術方案。大數據分析與挖掘技術為智慧城市治理提供了強大的決策支持能力。互聯網技術的飛速發展已經為構建一個大型全國性的專業報警營運服務平台提供了有力的技術支撐。透過這個報警平台，報警營運服務商手中會累積海量的使用者數據，例如使用者的身份資訊、警情數據、消費記錄、維修記錄等，這些都是非常寶貴的資源。報警營運服務商可以在此基礎上，套用大數據技術進行分析和挖掘，充分發揮大數據的商業價值。如公安系統中的圖偵技術，套用模式多樣，思維活躍，圍繞著「發現線索」的目的可衍生出多種技戰法，只有從這些具體的技戰法中才能提煉出需求，真正告訴系統的設計者「我們要什麽」。智慧家居會產生大數據，同時也是大數據的重要套用領域，不然它極有可能將停滯不前。家庭產生的大數據能讓智慧家居更「聰明」，但需要根據實際情況進行有效處理，而不是任何數據的「一鍋端」，透過大數據與雲端運算技術的結合套用，智慧家居系統能夠第一時間對使用者家庭中智慧裝置的數據、資訊進行有效分析、記憶，並將得到的規律反過來套用於智慧裝置，提升智慧家居的智慧效果。
安防體系設計思路
近年來，業界已經提出了多種大數據安防體系建設思路，但目前，仍然處於不斷地豐富和完善的階段。研究發現， 大部份安防體系設計思路主要圍繞以下4點展開：（1）安全資源： 安全策略的執行主體，對接資訊通訊技術（Information and Communications Technology，ICT）環境資源並提供策略執行的結果資訊反饋。
（2）安全資源管控系統： 決策指令（安全策略）的執行傳達者，透過對安全資源的能力排程及策略下發，實作「風險可控」。
（3）安全資訊感知系統： 接收安全資源的數據，提供決策依據和決策執行的反饋資訊，實作「風險可知」。
（4）安全營運決策系統： 基於安全資訊，透過安全執行進行安全決策，實作組織安全目標「風險可管」。針對大數據安防體系設計思路分析，何健等人提出了構建適用於大數據環境的、立體動態的多層次安全防護體系；劉曉軍等人 從剖析大數據通用技術架構入手，總結了數據處理的相關流程，分析和對比了數據中台並總結了其適用範圍和優缺點，最後聚焦多級架構模式下數據安全融合技術問題，提出了相應的解決辦法；張翠翠等人 提出了基於數據中台的數據安全分級防護方案，給出了數據中台「零信任」安全防護總體架構；賴新等人構建了基於雲端運算使用者層、數據傳輸層和雲端運算服務層的數據安全防護體系。
基於大數據的安全防護體系建設理念包括以下幾點：
（1）智慧感知系統： 由安防裝置、網路裝置、物聯網（Internet of Things，IoT）裝置等構成，采集與網路安全相關的數據和資訊，就像人類的眼睛、耳朵、鼻子，源源不斷地把脫敏後的安全數據傳輸到「安全大腦」，由「安全大腦」進行智慧的分析和決策。
（2）大數據湖： 儲存網路安全大數據的平台，相當於人的記憶中樞。
（3）安全知識體系： 包括各種威脅情報、安全資源庫、安全分析模型等等，是用於檢測、辨識、分析、溯源各類網路安全威脅的知識庫。
（4）智慧分析系統： 采用人工智慧、資料探勘、視覺化計算等一系列分析技術，實作對安全威脅的分析研判和處置。
（5）智慧學習系統： 具備自我學習、自我演進的能力，實作對新的網路安全威脅、攻擊方法等的辨識功能。
（6）人機智慧互動輔助決策系統： 利用安全專家經驗，透過智慧人機互動方式，實作對安全威脅檢測、分析、溯源等的輔助決策。
安防體系架構安全大數據平台架構
在參考了上述關於安防建設體系的設計思路與建設理念後，結合實踐特性，本文有針對性地提出了安全大數據平台的體系架構。該體系架構從邏輯層次上劃分為安全底座、安全中台、服務匯流排、安全套用 4 個層次。
總體而言，安全大數據平台架構可概括為「一腦雙核，四輪驅動」，具體由安全數據中台、安全資源中台、數據治理、安全事件、國家標準和技術協會（National Institute of Standards and Technology，NIST）的網路安全框架（Cyber Security Framework，CSF）、數據驅動 6 個部份組成。其中「一腦雙核」是指以安全數據中台和安全資源中台為核心構建的智慧感知控制體系：數據中台提供安全數據采集、處理、分析、組織和整合的通道；資源中台則是以數據中台為基礎，為各種安全套用提供數據基礎服務能力。智慧感知控制體系以資產為核心構建，不斷流動的安全事件經過安全大腦分析判斷之後反饋給安全管控平台，透過策略管控手段作用到資產上，形成了管理與控制的通道。「四輪驅動」是指以數據治理為手段，以安全事件為中心，以 NIST 的 CSF 為指導，以場景化驅動豐富的安全套用：數據治理是指構建安全事件主數據體系，如資產、病毒、漏洞、行為、威脅情報庫、安全資源庫等；以安全事件為中心，持續動態檢測和響應，在所有感知層收集的數據進入事件中心後，在策略管控下，在安全主數據、威脅庫和安全知識庫指引下進行即時或離線處理，響應系統會做出各種符合相應場景的響應；以 NIST CSF 框架為指導，構建資源中台，對外提供包括辨識、保護、檢測、響應、恢復在內的完整的安全能力和功能的輸出；以數據驅動豐富的安全套用，透過各類安全套用融合聯動，促使安全從原來的被動、割裂走向融合、場景化且能夠統一管理。由此可以看出，安全數據管控能力的集中性，多種套用場景的適應力，以及支撐業務發展的永續性是該架構的核心思路。
安防體系數據架構
在本文建立了安全大數據平台後，安全防護問題實質上就演變成了數據問題，如何采集、計算、儲存、融合分析數據，直至挖掘出安全威脅是整個安防體系需要考慮的核心問題。如圖 3 所示，安全大數據平台的數據架構在設計上與安全大數據平台的體系架構類似，主要由數據采集層、數據計算層、數據服務層和數據套用層 4 部份構成。
1.數據采集層
數據采集層：高效采集網路安全資訊
數據采集層利用大數據技術，從安防套用系統、流量、安全資源、安全情報和安全告警等多源異構數據接入，構建高效數據傳輸通道，實作數據高速采集和傳輸，滿足即時性要求更高的套用場景。
數據采集采用多樣化數據抽取工具和自訂程式，支持資料庫、文字檔案和流數據的接入。構建數據引接系統，引入 Kafka 數據高速傳輸元件，實作流量削峰，確保數據高效傳輸。
最佳化策略保障數據采集的即時性、準確性和完整性，為網路安全態勢感知分析平台提供高品質數據基礎。 。從業務型別來劃分，接入的數據主要包括安防套用系統埋點日誌類數據、流量類數據、安全資源類數據、安全知識情報類數據和安全告警類數據等。數據抽取工具和自訂程式實作對資料庫、文字檔案、流數據的接入。透過構建數據引接系統，支持多源異構數據接入，引入 Kafka 數據高速傳輸元件，能夠實作流量削峰，建立高效數據傳輸通道，最大化數據吞吐率，實作數據高速采集傳輸，減少數據時延，滿足對即時性要求更高的套用場景。
2.數據計算層
1. 流批一體化的數據處理：
* 即時同步：資料來源透過即時數據同步工具將數據即時增量同步到數據中介軟體（如 Kafka）。
* 即時處理：數據透過即時計算引擎（如 Flink）進行處理，處理結果即時推播到數據套用中，進行數據視覺化展示。
* 批次處理：部份時延性要求不高的業務場景，采用批次處理方式處理數據，提升數據處理效率。
2. 分層的離線和即時數倉：
* 分層設計：將資料倉儲設計為分層結構，便於海量安全數據的組織和管理。
* 數據組織：分層結構使數據具有清晰的數據結構，便於數據有秩序地流轉。
* 重復開發減少：統一數據口徑，減少數據開發過程中的重復開發。 Kafka；數據透過 Kafka傳輸，經過消費同步到安全數據平台的數據湖中；另外數據經過即時計算引擎 Flink 處理後，直接推播到前端數據套用中，進行數據視覺化展示。本層引入離線和即時數倉。資料倉儲設計采用分層的設計，這樣設計的原因是對於海量安全數據，需要對數據進行組織規劃，使其具有清晰的數據結構，方便數據有秩序地流轉，並且在數據開發過程中，能夠減少重復開發，統一數據口徑。
3.數據服務層
數據服務能力概覽
- 數據資源目錄服務：提供數據資源的綜合查詢和展示。
- 主數據服務：提供主數據的統一管理和維護。
- 數據標準：提供數據標準的定義和管理。
- 數據共享服務：提供數據共享的請求和授權。
- 數據品質服務：提供數據品質的評估和最佳化。
- 數據血緣分析服務：提供數據血緣的分析和展示。
- 後設資料管理服務：提供後設資料的儲存、管理和查詢。。
4.數據套用層
數據驅動安全業務，實作無縫銜接並加速發展
數據服務層打通了安全數據與套用的通道，實作無縫銜接。依托數據驅動力推動安全業務發展，為使用者提供全方位的數據服務保障。
-對此，您有什麽看法見解？-
-歡迎在評論區留言探討和分享。-
