大数据时代，如何建设安防体系
大数据时代安防体系的设计思路与架构
1. 大数据时代安防体系设计思路
随着海量数据的产生，安防行业也面临着数据整合、存储、分析应用等一系列问题。本文提出了一种基于大数据的安全防护体系建设思路，主要包括以下四点：
（1）安全资源：安全策略的执行主体，对接信息通信技术（ICT）环境资源并提供策略执行的结果信息反馈。
（2）安全资源管控系统：决策指令（安全策略）的执行传达者，通过对安全资源的能力调度及策略下发，实现「风险可控」。
（3）安全信息感知系统：接收安全资源的数据，提供决策依据和决策执行的反馈信息，实现「风险可知」。
（4）安全运营决策系统：基于安全信息，通过安全运行进行安全决策，实现组织安全目标「风险可管」。
2. 安全大数据平台体系架构
在上述安防体系设计思路的基础上，结合实践特性，本文提出了安全大数据平台的体系架构，可概括为「一脑双核，四轮驱动」。
（1）一脑双核：安全数据中台、安全资源中台
以安全数据中台和安全资源中台为核心构建的智能感知控制体系：数据中台提供安全数据采集、处理、分析、组织和集成的通道；资源中台是构建安全大数据平台的核心基础，为各种安全应用提供数据基础服务能力。
（2）四轮驱动：数据治理、安全事件、NIST 的 CSF、数据驱动
数据治理是指构建安全事件主数据体系，如资产、病毒、漏洞、行为、威胁情报库、安全资源库等；以安全事件为中心，持续动态检测和响应，结合 NIST 的 CSF 等相关框架，构建资源中台，对外提供完整的安全能力和功能输出；以数据驱动丰富的安全应用，通过各类安全应用融合联动，促使安全从原来的被动、割裂走向融合、场景化且能够统一管理。
3. 安全大数据平台数据架构
安全防护问题实质上就演变成了数据问题，如何采集、计算、存储、融合分析数据，直至挖掘出安全威胁是整个安防体系需要考虑的核心问题。安全大数据平台的数据架构主要由数据采集层、数据计算层、数据服务层和数据应用层四部分构成。
（1）数据采集层：安防设备、网络设备、物联网设备等
负责采集与网络安全相关的数据和信息，就像人类的眼睛、耳朵、鼻子，源源不断地把脱敏后的安全数据传输到「安全大脑」，由「安全大脑」进行智能的分析和决策。
（2）数据计算层：大数据湖
存储网络安全大数据的平台，相当于人的记忆中枢。
（3）数据服务层：安全知识体系
包括各种威胁情报、安全资源库、安全分析模型等等，是用于检测、识别、分析、溯源各类网络安全威胁的知识库。
（4）数据应用层：智能分析系统
采用人工智能、数据挖掘、可视化计算等一系列分析技术，实现对安全威胁的分析研判和处置。
「大数据」时代 「大数据」是指一组数据集非常庞大且复杂，很难利用现有的数据库管理工具进行处理。它有助于统一大型数据集，并能够从分析中得出其它信息，而不是来自具有相同数据总量的单独的较小数据集。大数据时代的来临，带来了很多现实中的难题，为了解决这些难题需要新的技术变革，需要新一代的数据库技术，业界称之为大数据技术。在大数据应用时代，视频因其信息含量最高、数据量最大，分析运算最复杂而成为大数据时代采集分析传输存储应用最具挑战的国际技术难题！智能视频分析研究永无止境，分析算法必须以监控视频为资源，研究实时或历史监控视频中的目标特征提取、增强与行为分析等关键技术，才能推动监控视频应用模式从事后被动处置向事前主动预防转变。大规模数据在智慧城市系统流动过程中，出于传输效率、数据质量与安全等因素的考虑，需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合，这也是目前国际产业界普遍采用的技术方案。大数据分析与挖掘技术为智慧城市治理提供了强大的决策支持能力。互联网技术的飞速发展已经为构建一个大型全国性的专业报警运营服务平台提供了有力的技术支撑。通过这个报警平台，报警运营服务商手中会累积海量的用户数据，例如用户的身份信息、警情数据、消费记录、维修记录等，这些都是非常宝贵的资源。报警运营服务商可以在此基础上，应用大数据技术进行分析和挖掘，充分发挥大数据的商业价值。如公安系统中的图侦技术，应用模式多样，思维活跃，围绕着「发现线索」的目的可衍生出多种技战法，只有从这些具体的技战法中才能提炼出需求，真正告诉系统的设计者「我们要什么」。智能家居会产生大数据，同时也是大数据的重要应用领域，不然它极有可能将停滞不前。家庭产生的大数据能让智能家居更「聪明」，但需要根据实际情况进行有效处理，而不是任何数据的「一锅端」，通过大数据与云计算技术的结合应用，智能家居系统能够第一时间对用户家庭中智能设备的数据、信息进行有效分析、记忆，并将得到的规律反过来应用于智能设备，提升智能家居的智能效果。
安防体系设计思路
近年来，业界已经提出了多种大数据安防体系建设思路，但目前，仍然处于不断地丰富和完善的阶段。研究发现， 大部分安防体系设计思路主要围绕以下4点展开：（1）安全资源： 安全策略的执行主体，对接信息通信技术（Information and Communications Technology，ICT）环境资源并提供策略执行的结果信息反馈。
（2）安全资源管控系统： 决策指令（安全策略）的执行传达者，通过对安全资源的能力调度及策略下发，实现「风险可控」。
（3）安全信息感知系统： 接收安全资源的数据，提供决策依据和决策执行的反馈信息，实现「风险可知」。
（4）安全运营决策系统： 基于安全信息，通过安全运行进行安全决策，实现组织安全目标「风险可管」。针对大数据安防体系设计思路分析，何健等人提出了构建适用于大数据环境的、立体动态的多层次安全防护体系；刘晓军等人 从剖析大数据通用技术架构入手，总结了数据处理的相关流程，分析和对比了数据中台并总结了其适用范围和优缺点，最后聚焦多级架构模式下数据安全融合技术问题，提出了相应的解决办法；张翠翠等人 提出了基于数据中台的数据安全分级防护方案，给出了数据中台「零信任」安全防护总体架构；赖新等人构建了基于云计算用户层、数据传输层和云计算服务层的数据安全防护体系。
基于大数据的安全防护体系建设理念包括以下几点：
（1）智能感知系统： 由安防设备、网络设备、物联网（Internet of Things，IoT）设备等构成，采集与网络安全相关的数据和信息，就像人类的眼睛、耳朵、鼻子，源源不断地把脱敏后的安全数据传输到「安全大脑」，由「安全大脑」进行智能的分析和决策。
（2）大数据湖： 存储网络安全大数据的平台，相当于人的记忆中枢。
（3）安全知识体系： 包括各种威胁情报、安全资源库、安全分析模型等等，是用于检测、识别、分析、溯源各类网络安全威胁的知识库。
（4）智能分析系统： 采用人工智能、数据挖掘、可视化计算等一系列分析技术，实现对安全威胁的分析研判和处置。
（5）智能学习系统： 具备自我学习、自我演进的能力，实现对新的网络安全威胁、攻击方法等的识别功能。
（6）人机智能交互辅助决策系统： 利用安全专家经验，通过智能人机交互方式，实现对安全威胁检测、分析、溯源等的辅助决策。
安防体系架构安全大数据平台架构
在参考了上述关于安防建设体系的设计思路与建设理念后，结合实践特性，本文有针对性地提出了安全大数据平台的体系架构。该体系架构从逻辑层次上划分为安全底座、安全中台、服务总线、安全应用 4 个层次。
总体而言，安全大数据平台架构可概括为「一脑双核，四轮驱动」，具体由安全数据中台、安全资源中台、数据治理、安全事件、国家标准和技术协会（National Institute of Standards and Technology，NIST）的网络安全框架（Cyber Security Framework，CSF）、数据驱动 6 个部分组成。其中「一脑双核」是指以安全数据中台和安全资源中台为核心构建的智能感知控制体系：数据中台提供安全数据采集、处理、分析、组织和集成的通道；资源中台则是以数据中台为基础，为各种安全应用提供数据基础服务能力。智能感知控制体系以资产为核心构建，不断流动的安全事件经过安全大脑分析判断之后反馈给安全管控平台，通过策略管控手段作用到资产上，形成了管理与控制的通道。「四轮驱动」是指以数据治理为手段，以安全事件为中心，以 NIST 的 CSF 为指导，以场景化驱动丰富的安全应用：数据治理是指构建安全事件主数据体系，如资产、病毒、漏洞、行为、威胁情报库、安全资源库等；以安全事件为中心，持续动态检测和响应，在所有感知层收集的数据进入事件中心后，在策略管控下，在安全主数据、威胁库和安全知识库指引下进行实时或离线处理，响应系统会做出各种符合相应场景的响应；以 NIST CSF 框架为指导，构建资源中台，对外提供包括识别、保护、检测、响应、恢复在内的完整的安全能力和功能的输出；以数据驱动丰富的安全应用，通过各类安全应用融合联动，促使安全从原来的被动、割裂走向融合、场景化且能够统一管理。由此可以看出，安全数据管控能力的集中性，多种应用场景的适应性，以及支撑业务发展的可持续性是该架构的核心思路。
安防体系数据架构
在本文建立了安全大数据平台后，安全防护问题实质上就演变成了数据问题，如何采集、计算、存储、融合分析数据，直至挖掘出安全威胁是整个安防体系需要考虑的核心问题。如图 3 所示，安全大数据平台的数据架构在设计上与安全大数据平台的体系架构类似，主要由数据采集层、数据计算层、数据服务层和数据应用层 4 部分构成。
1.数据采集层
数据采集层：高效采集网络安全信息
数据采集层利用大数据技术，从安防应用系统、流量、安全资源、安全情报和安全告警等多源异构数据接入，构建高效数据传输通道，实现数据高速采集和传输，满足实时性要求更高的应用场景。
数据采集采用多样化数据抽取工具和自定义程序，支持数据库、文本文件和流数据的接入。构建数据引接系统，引入 Kafka 数据高速传输组件，实现流量削峰，确保数据高效传输。
优化策略保障数据采集的实时性、准确性和完整性，为网络安全态势感知分析平台提供高质量数据基础。 。从业务类型来划分，接入的数据主要包括安防应用系统埋点日志类数据、流量类数据、安全资源类数据、安全知识情报类数据和安全告警类数据等。数据抽取工具和自定义程序实现对数据库、文本文件、流数据的接入。通过构建数据引接系统，支持多源异构数据接入，引入 Kafka 数据高速传输组件，能够实现流量削峰，建立高效数据传输通道，最大化数据吞吐率，实现数据高速采集传输，减少数据时延，满足对实时性要求更高的应用场景。
2.数据计算层
1. 流批一体化的数据处理：
* 实时同步：数据源通过实时数据同步工具将数据实时增量同步到数据中间件（如 Kafka）。
* 实时处理：数据通过实时计算引擎（如 Flink）进行处理，处理结果实时推送到数据应用中，进行数据可视化展示。
* 批处理：部分时延性要求不高的业务场景，采用批处理方式处理数据，提升数据处理效率。
2. 分层的离线和实时数仓：
* 分层设计：将数据仓库设计为分层结构，便于海量安全数据的组织和管理。
* 数据组织：分层结构使数据具有清晰的数据结构，便于数据有秩序地流转。
* 重复开发减少：统一数据口径，减少数据开发过程中的重复开发。 Kafka；数据通过 Kafka传输，经过消费同步到安全数据平台的数据湖中；另外数据经过实时计算引擎 Flink 处理后，直接推送到前端数据应用中，进行数据可视化展示。本层引入离线和实时数仓。数据仓库设计采用分层的设计，这样设计的原因是对于海量安全数据，需要对数据进行组织规划，使其具有清晰的数据结构，方便数据有秩序地流转，并且在数据开发过程中，能够减少重复开发，统一数据口径。
3.数据服务层
数据服务能力概览
- 数据资源目录服务：提供数据资源的综合查询和展示。
- 主数据服务：提供主数据的统一管理和维护。
- 数据标准：提供数据标准的定义和管理。
- 数据共享服务：提供数据共享的请求和授权。
- 数据质量服务：提供数据质量的评估和优化。
- 数据血缘分析服务：提供数据血缘的分析和展示。
- 元数据管理服务：提供元数据的存储、管理和查询。。
4.数据应用层
数据驱动安全业务，实现无缝衔接并加速发展
数据服务层打通了安全数据与应用的通道，实现无缝衔接。依托数据驱动力推动安全业务发展，为用户提供全方位的数据服务保障。
-对此，您有什么看法见解？-
-欢迎在评论区留言探讨和分享。-
