当前网络与信息安全领域，正在面临着多种挑战。一方面，企业和组织安全体系架构日趋复杂，各种类型的安全数据越来越多，传统的分析能力明显不再适应；另一方面，新型威胁兴起，内控与合规深入，传统的分析方法存在诸多缺陷，越来越需要分析更多的安全信息，更加快速地做出判定和响应。

　　网络信息安全数据自身也面临大数据化的挑战。

　　1）数据越来越多。网络已经从吉比特每秒迈向了万兆比特每秒的速率，网络安全设备要分析的数据分组数据量急剧上升。同时，随着安全防御的纵深化，安全监测的内容不断细化，除了传统的攻击监测，还出现了应用监测、用户行为监测等。此外，随着APT等新型威胁的兴起，全分组捕获技术逐步应用，海量数据处理问题也日益凸显。

　　2）处理越来越快。对于网络设备而言，包处理和转发的速度需要更快；对于安全管理平台、事件分析平台而言，数据源的事件发送速率越来越快。因此，对安全数据处理的性能将直接影响大数据的服务质量。

　　3）形态越来越泛。除了协议数据分组、设备日志数据，安全信息还涉及漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息、网络环境数据等等。针对安全数据形态多样化、非结构化的发展趋势，统一的数据表述方法也变得越来越关键。

　　正是因为安全数据自身的大数据化，因此业界开始研究如何将大数据技术应用于安全领域，形成大数据安全服务。

　　1. 网络安全大数据态势感知

　　随着网络规模和应用的迅速扩大，网络安全威胁不断增加，单一的网络安全防护技术已经不能满足需要。网络安全态势感知能够从整体上动态反映网络安全状况并对网络安全的发展趋势进行预测，大数据的特点为大规模网络安全态势感知研究的突破创造了机遇。

　　网络安全态势感知就是利用数据融合、数据挖掘、智能分析和可视化等技术，直观显示网络环境的实时安全状况，为网络安全提供保障。借助网络安全态势感知，网络监管人员可以及时了解网络的状态、受攻击情况、攻击来源以及哪些服务易受到攻击等情况，对发起攻击的网络采取措施；网络用户可以清楚地掌握所在网络的安全状态和趋势，做好相应的防范准备，避免和减少网络中病毒和恶意攻击带来的损失；应急响应组织也可以从网络安全态势中了解所服务网络的安全状况和发展趋势，为制定有预见性的应急预案提供基础。

　　安全态势感知通过对系统环境中潜在的安全影响要素进行获取和理解，以实现对未来安全发展趋势的预测，是制定安全防御策略的基础。主要研究包含情报数据采集、安全数据整理、数据可视化展现、情报和事件汇聚处理分析、安全态势展示等步骤，关键技术如下。

　　（1）多源异构数据的融合

　　网络运行环境、协议和应用场景等难以统一描述，网络安全态势感知首先需解决多源异构数据的融合。数据融合主要研究跨领域数据的一体化表示机理，不确定条件下的多源数据融合算法，以及异质时序数据的模式挖掘方法等关键技术，进而解决基于多源异质数据融合的安全态势感知方法、基于安全知识模型的安全态势感知方法，以及安全态势感知结果的自适应融合策略等关键问题。

　　（2）网络特征的选择提取

　　随着信息网络的复杂程度不断提升，网络数据异常庞大，即便是经过数据融合后的信息，用户依然无法有效使用。大数据分析技术，能够满足用户从网络大数据中获得信息的需求，对得到的数据特征信息进一步智能分析，并转述为更高层次的网络特征。精准的网络特征能够有效描述网络安全状态和受攻击的风险程度，方便进行全网态势评估和预测。

　　（3）安全态势感知与预警

　　网络威胁是动态的，具有不固定性，为实现主动防御，需采用动态预测措施，以便能够根据当前网络走势判断未来网络安全情况；为用户提供安全策略，以便做出更正确的决策。网络安全态势预警的核心问题就是利用网络安全大数据模型，实现对网络安全态势的实时感知与预测。

　　图1为针对某个企业的网络安全态势感知示意，可对云上所有网络资产进行安全告警，并用机器学习发现潜在的入侵和高隐蔽性攻击、回溯攻击历史、预测安全事件等，主要功能包括安全事件告警和检索、原始日志存储和分析、安全风险量化和预测等。

图1  网络安全态势感知示意

　　安全感知是安全防御体系的核心，面对APT高级隐蔽攻击和渗透测试等，是否能够第一时间识别和发现安全异常，已逐步成为衡量安全体系优劣的关键准则。

　　2. 网络安全大数据的可视化

　　网络大数据带来的是海量、高速、多变的信息资产，需要寻求经济的、创新的信息处理方式，快速获得超越数据客观信息的洞察力和决策力，可视化技术就在这样的背景下应运而生。数据可视化容易被人们感知数据信息，可以快速识别数据模式和数据差异并发现数据异常，能够快速识别并直观聚类，还能快速发现新的攻击模式并对攻击趋势做出预测。因此，针对信息安全问题，诸多企业希望将其监测到的大数据转化为信息可视化呈现的各种形式，数据可视化已逐步成为网络安全技术和管理的一个关键配置。

　　数据可视化通常是在一个具体的问题目标框架下，利用宏观模式视角、微观单点视角、关联关系视角，通过形状、位置、尺寸、方向、色彩、纹理等视觉要素设计，得到数据的图形化展示。网络安全可视化则是利用人类视觉对模型和结构的获取能力，将抽象的网络和系统数据以图形图像的方式展现出来，将网络异构数据整合到一起，相互搭配进行可视化展示能够从多个角度来全面准确地监测分析一个网络事件，体现当前网络及设备的数据传输、网络流量来源及流动方向、受到的攻击类型等安全情况，从而帮助人们快速分析网络状况，识别网络异常或网络入侵行为，预测网络安全事件发展趋势。

　　目前，网络态势可视化技术作为一项新技术，是网络安全态势感知与可视化技术的结合。网络中蕴涵的态势状况可以通过可视化图形方式展示给用户，利用对图形图像的强大处理能力，实现对网络异常行为的分析和检测。网络态势可视化充分结合了计算机和人脑在图像处理方面的优势，提高了对数据的综合分析能力，能够有效降低误报率和漏报率，提高系统检测效率，减小反应时间，还具备较强的异常行为预测能力。

　　安全态势可视化的目的是生成网络安全综合态势图，以多视图、多角度、多尺度的方式与用户进行交互，面临的主要挑战是如何实时显示、处理大规模网络数据，如何支持多数据源、多视图、多平台协同的分析，最终协助网络空间安全专家实现智能化、自动化预警和防御体系。

　　下面简要介绍几款常用的大数据可视化分析工具。

　　D3.js 是一款优秀的数据可视化工具库。运行在 JavaScript 上，并使用 HTML、CSS和SVG。D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，可实现实时交互。

　　ChartBlocks是一个易于使用的在线工具，它无需编码，便能从电子表格、数据库中构建可视化图表。整个过程可以在图表向导的指导下完成，在 HTML5 框架下使用 JavaScript 库D3.js创建图表。

　　Google Charts 以HTML5和SVG为基础，充分考虑了跨浏览器的兼容性，并通过VML支持旧版本的IE浏览器，并提供一个非常好的、全面的模板库。

　　Highcharts是JavaScript API与jQuery的集成产品，使用SVG格式，并使用VML支持旧版浏览器。它提供了两个专门的图表类型——Highstock和Highmaps，并且配备了一系列的插件，还提供Highcharts云服务。

　　Tableau 是一款企业级的大数据可视化工具，可轻松创建图形、表格和地图。它不仅提供了PC桌面版，还提供了云服务器解决方案，支持在线生成可视化报告。

　　Plotly 是一个非常人性化的网络工具，可在几分钟内启动，从简单的电子表格中开始创建漂亮的图表，并为JavaScript和Python等编程语言提供API接口。

　　Visual.ly是一个可视化的内容服务。它提供专门的大数据可视化的服务，支持外包服务：你只需描述你的项目，服务团队将在项目的整个持续时间内提供可视化开发服务。

　　3. 网络安全大数据分析平台

　　OpenSOC 是一个针对网络分组和流的大数据分析框架，是大数据与安全分析技术相融合的平台，能够实时检测网络异常情况并且可不断扩展节点，存储采用 Hadoop，实时索引采用 ElasticSearch，在线流分析采用 Storm。

　　目前，OpenSOC已加入Apache工程，名为Apache Metron。体系架构如图2所示。

图2  OpenSOC体系架构

　　OpenSOC主要功能如下。

　　扩展性较强的平台框架，支持各种Telemetry数据流；

　　通过可扩展的接收器和分析器可监视任何Telemetry数据源；

　　支持对Telemetry数据流的异常检测和基于规则的实时告警；

　　通过预设时间使用Hadoop存储Telemetry的数据流；

　　支持ElasticSearch实现自动化实时索引Telemetry数据流；

　　支持Hive实现SQL查询Hadoop数据；

　　能够兼容ODBC/JDBC和继承已有的分析工具；

　　具有丰富的分析应用，且能够集成已有的分析工具；

　　支持实时的Telemetry搜索和跨Telemetry的匹配；

　　支持自动生成报告、异常报警等；

　　支持原数据分组的抓取、存储、重组等；

　　支持数据驱动的安全检测与分析模型。

　　OpenSOC 平台特色包括：

　　免费、开源、基于Apache协议授权；

　　基于高可扩展平台的（Hadoop、Kafka、Storm）实现；

　　基于可扩展的插件式设计；

　　具有灵活的部署模式，支持企业内部或云端部署；

　　具有集中化的人员和数据管理流程。