随着网络基础设施的不断发展和电子政务比重的不断增加，网络规模逐渐扩大，安全数据日益增多，网络安全问题也被提到了至关重要的位置。
在学校业务信息化、数字化的同时，网络威胁手法也在不断演变，网络安全威胁也变得更加复杂，但是现有的安全产品，如防火墙、入侵检测系统、入侵防御系统、漏洞扫描系统和防毒系统筹却各自为政，并不能全面地、有机地发现网络中存在的安全问题。
近年来，网络安全态势感知已经引起了研究人员以及各大厂商的广泛关注。网络安全态势感知能够融合所有可以获取的信息，全面感知网络威胁态势，提高网络监控能力，可视化网络安全状态，为网络安全管理者提供决策依据，提高应急响应能力[1]。因此，为解决北京大学医学部网络安全所面临的问题，本文提出了主动防御模式的网络安全态势感知方案。
从1996年“211”校园网建设项目启动，到2016年进行校园网络建设改造，北京大学医学部主干线速率从155Mbps升至万兆，校园物理服务器增至24台，校园虚拟服务器增至123台，虚拟化存储升至90TB。
随着北京大学医学部网络规模的逐渐扩大，网络管理人员的安全意识也逐步深入，并组织上架了各种安全防护产品，如防火墙、安全审计产品、入侵检测产品和漏洞扫描系统筹。但随着大数据时代的来临，网络安全面临着新的挑战：
北京大学医学部信息化建设经过数十年的发展，网络几乎覆盖校园的每一个角落。
一方面，学生与教职员工的各类电子设备，如手机、平板电脑、笔记本和科研服务器等，成为校园网络日志数据的重要源头，每天都会产生大量的上网行为日志；另一方面，随着网络规模的扩大，网络设备本身也会产生大量的操作系统日志与设备日志。
如何从海量日志中挖掘有效信息是一项重要任务，而采用传统的日志分析软件却无法高效、实时地分析处理海量日志。
在现在的网络安全体系中，查杀病毒安装防病毒软件、防御外部普通的攻击安装防火墙、防入侵购买入侵检测系统、防范Web攻击采用漏洞扫描系统。
但是这些设备都是单一的、分散的，需要网络管理人员逐一配置，并人工汇总分析这些设备产生的数据，缺乏综合性、全局性和连续性的功能，只是设备的堆叠，不能实现安全设备之间的协同联动。
3.高级持续性威胁(Advanced
Persistent Threat，APT)兴起
随着以APT为代表的新型攻击的发展[2]，网络安全形势发生了巨大的改变，APT攻击已经成为高危的网络攻击方式。
与传统的数据库注入、跨站脚本攻击、病毒与木马的威胁不同，APT攻击具有破坏性更大、隐蔽性更强与持久性更高等特征。
而现有的网络安全防御设备的告警信息都各自存放，没有从全方位的整体视角来看待安全问题，因而难以实现从海量日志中发现APT。
自从1999年美国空军通信与信息中心的T.Bass提出网络空间态势感知(Cyberspace Situation Awareness，CSA)的概念[3]以来，各专家学者基于此概念提出了不同的改进模型。综合多种不同的模型得出，网络安全态势感知指的是
“采集导致网络状态产生变化的安全态势要素，并使用相关数学理论和数据处理技术，呈现和预警网络系统的安全状态和趋势”[4]。
从概念中可以看出网络安全态势感知包含三个层次：网络态势要素提取、网络态势数据融合和网络态势预测，如图1所示。
针对网络安全面临的三个问题，结合态势感知概念设计了网络安全态势感知方案，如图2所示。
1.要素提取。要素提取是网络安全态势感知的基础。同时，它也是网络安全态势感知平台搭建的第一步。全面的态势要素提取对于平台的效果十分重要，不同来源、不同类型的日志是态势感知平台的信息源。
2.数据融合。数据融合是网络安全态势感知的保障。它是把孤立的、各自存储的数据融合到一起，形成协同联动的数据。这不仅为网络安全的态势感知提供了数据接口，也为日志治理提供了通道。
3.态势预测。态势预测是网络安全态势感知的关键。态势感知平台的效果很大程度上取决于态势预测的准确性。利用态势预测结果，可以提高突发事件的应急响应能力与网络系统的监控能力。可视化则是网络安全态势感知的一种表达方式。
要素提取是从网络架构中提取影响网络态势产生变化的要素，是建立网络安全态势感知的第一步。
首先，要素提取需具有全面性，包括WEB日志、操作系统日志、网络及安全设备日志。全面的数据采集是态势感知的具有整体性、全局性的重要保障。同时，也可以形成对设备的全方面监控。
其次，要素采集方式多样化。不同的产品有不同的日志输出方式，多样化的数据要素采集方法是保证要素提取全面性的重要手段。常用的数据采集方式有：探针、爬虫、FileBeat采集与SDK接口等。
最后，对提取的要素进行规范化处理。不同产品的日志格式往往大不相同，甚至相同产品不同类型的日志格式也不相同。因此对于下一步数据融合而言，对数据进行规范化处理不可或缺。常用的规范化处理方法包括按照需求正则化处理与使用Logstash、Kafka、ETL等工具处理。
数据融合是通过采集与汇聚不同种类、不同来源的数据，依次通过数据描述、数据组织和数据交换三个过程实现数据融合的功能，并且最终通过数据服务对外提供数据检索和展示功能。
如图2所示，在经过要素提取对数据进行规范化处理之后，使用不同的大数据分布式存储相结合的方式分类别存储日志数据。一部分要素，如防火墙日志，使用ElasticSearch及对应的组件存储和检索数据，其他要素使用Hive及对应的组件存储和检索数据。
ElasticSearch具有强大的聚合统计和全文检索功能，但不能关联查询。Hive具有关联检索和数据转换能力，但实时性能不足。二者相互补充，相互协作，可以对不同来源的数据进行联合查询。
数据融合横向打通了多源异构数据，并且原业务系统任意数据的变动通过数据融合都可以进行实时捕获。因此，针对威胁事件可以及时地检索出某段时间执行威胁动作的源IP地址与目的IP地址，然后挖掘出更多有效信息。
根据数据融合提供的数据接口，利用机器学习算法进行态势预测，识别出各类网络活动以及异常网络活动的意图，从而获得网络的安全态势。
北京大学医学部采用机器学习算法进行态势预测。机器学习在描述非线性的复杂系统方面具有良好的表现，且自适应、自组织和无限逼近能力表现优异，因此使用机器学习算法来进行态势预测。
网络安全管理人员根据呈现的攻击、威胁、风险提示，及时作出预判与干预，快速、精准地消除或降低安全威胁隐患。
态势预测将威胁响应时间从以往的数天缩短至数十分钟，进一步降低了病毒横向传播的几率。可视化是态势感知平台的重要组成部分，通过可视化可以清晰有效地传达态势预测信息。
网络安全态势预测是一种主动防御机制，其首先对现在及以往的网络态势要素进行分析和理解，然后对将来的网络态势进行推测，因而是建立动态响应机制的重要保障。
本文针对北京大学医学部网络安全面临的海量日志处理问题、高级持续威胁兴起与传统安全设备弱关联性的三方面问题，提出了网络安全态势感知方案。
该方案采用多种措施，实现了安全要素数据的提取，并利用了两种分布式数据存储相结合的方式进行数据融合，最后利用机器学习算法对网络未来态势进行预测。该方案提高了学校对海量数据的治理能力，增强了网络安全的防御能力，同时也增加了安全状态的可视性。
[1]石乐义, 刘佳, 刘祎豪,等. 网络安全态势感知研究综述[J]. 计算机工程与应用, 2019, 55(24):9.
[2]董刚, 余伟, 玄光哲. 高级持续性威胁中攻击特征的分析与检测[J]. 吉林大学学报：理学版, 2019, 57(2):6.
[3] Tadda G , Salerno J J , Boulware D , et al. Realizing situation awareness within a cyber environment[C]// SPIE. SPIE, 2006:624204-624204-8.
[4]胡浩.基于攻击图的网络安全态势感知方法研究[D].战略支援部队信息工程大学，2018.
作者：耿慧玲（北京大学医学部网络安全与信息化技术中心）
责编：高明
投稿、转载或合作，请联系：eduinfo@cernet.com
