Details of Research Outputs

本发明公开了一种基于神经网络和大数据的网络安全态势分析方法和系统,系统包括数据采集模块,数据分析模块和态势预测模块；数据采集模块在Flume组件上实现分布式的大数据采集；数据分析模块基于MapReduce并行化计算框架实现大数据的分布式处理,包括关联规则的挖掘和基于时间维度的初步态势预测；前两个模块包含在神经网络的输入层中,通过隐含层对输入层数据的融合处理传送给输出层,输出层通过局部态势判决结果,得出总体的安全态势分析预测情况,将这些有价值的数据存储在HBASE数据库中方便后续查询和展示。本发明通过神经网络和大数据分析进行自我学习和调整,实现了对大数据的网络安全态势分析。

1.一种基于神经网络和大数据的网络安全态势分析方法,其特征在于,应用在包括输入层、隐含层和输出层的神经网络上,包括：通过Flume组件在神经网络的输入层实现分布式的大数据采集；通过MapReduce并行化计算在神经网络的输入层实现对采集的大数据进行清洗预处理、清洗和态势分析,将获得的初步态势预测结果输出给神经网络的隐含层；所述清洗包括数据降维和聚类分析；所述态势分析包括关联规则挖掘和基于时间维度的初步态势预测；神经网络隐含层的每一个神经元接收所述输入层输出的初步态势预测结果,隐含层根据输入层与隐含层神经元之间的连接权值及隐含层神经元的输出阈值进行信息融合获得局部态势判决结果并输出给神经网络的输出层；神经网络输出层的每一个神经元接收所述隐含层输出的局部态势判决结果,输出层根据隐含层与输出层神经元之间的连接权值及输出层神经元的输出阈值进行信息融合和自学习获得总体的安全态势判决结果,并存储到HBASE数据库中；所述清洗预处理的步骤包括：分片采集到的大数据；数字化分片数据中每一条记录中的流量特征；去除记录中的无关特征和符号；合并预处理好的数据并输出。