本发明属于深度学习，更具体地说，涉及一种基于lstm-ewc的网络流量异常检测分类方法。
背景技术：
1、随着互联网的快速发展，网络流量呈现出指数级增长，导致网络环境变得越来越复杂和多样化。面对日益复杂的网络威胁，实施有效的异常检测和分类策略，是确保网络系统安全稳定运行的关键。传统异常检测方法依赖于手工特征提取和规则匹配，难以应对日益复杂的攻击手段和多样化的网络环境。深度学习技术，尤其是基于神经网络的方法，为处理和分析大规模网络流量数据提供了新的解决方案。
2、1997年，sepp hochreiter和jürgen schmidhuber提出了基于长短期记忆网络(long short-term memory，lstm)的异常检测方法。lstm能够有效捕捉时序数据中的长期依赖关系，广泛应用于处理具有时序关系的网络流量数据的检测中。然而，单纯使用lstm模型，在训练新任务时，通常没有旧任务的数据来帮助模型保存旧任务的特征，或者因为过度适应新任务的数据，会产生灾难性遗忘等问题，即在学习新模式时，模型会遗忘之前学到的知识。此外，在网络流量异常检测中，lstm模型可能需要频繁更新以适应不断变化的数据类型，这可能导致模型忘记先前学习的正常和异常流量特征。因此，引入一定的模型参数固化机制以防止lstm模型出现灾难遗忘问题成为当前机器学习的一个研究重点。
3、因此，亟需一种新的基于lstm-ewc的网络流量异常检测分类方法。
技术实现思路
1、本发明为了克服现有技术的不足，提供了一种基于lstm-ewc的网络流量异常检测分类方法，拟引入弹性权重固化(elastic weight consolidation，ewc)算法解决lstm模型在数据类型动态变化情况下可能出现的灾难性遗忘问题。ewc算法是由kirkpatrick等人于2017年提出的。ewc通过在损失函数中添加正则化项，保护重要参数，防止模型在更新过程中遗忘旧知识。本发明利用ewc算法在一定范围内固化lstm模型参数，开发一种能够持续学习网络流量特征的高效lstm-ewc模型，实现对特征动态变化的网络数据流的高效检测分类。
2、实现本发明目的的技术方案是提供一种基于lstm-ewc的网络流量异常检测分类方法，包括以下步骤：
3、s1.数据预处理，获取原始网络流量数据集xoriginal，原始网络流量数据集xoriginal包含网络流量的特征，标记网络流量的类型标签；对原始网络流量数据集xoriginal进行数据清洗，并对网络流量的特征数据进行归一化处理，得到新数据集xnew；
4、s2.特征选择，构建cart决策树，从网络流量特征列表feature中选择对网络流量异常识别影响程度较大的前p个特征，构建目标数据集xtarget，并将目标数据集xtarget划分为训练集、验证集和测试集；
5、s3.模型搭建和训练，构建用于网络流量异常检测分类的lstm-ewc模型；对lstm模型采用训练集数据进行训练，保存最终模型的参数集θ′；对ewc模型进行初始化，并用验证集调整lstm-ewc模型的参数，得到新的参数集更新lstm模型；
6、s4.模型性能评估，采用测试集数据对lstm-ewc模型的检测分类性能进行评估，计算分类评价指标。
7、其中，s1具体包括如下步骤：
8、s11.获取网络流量数据；
9、选取原始网络流量数据集xoriginal＝[x1,x2,…,xn,…,xn]t，其中xn＝[xn,1,xn,2,…,xn,k,…,xn,k]t表示第n条长度为k的数据向量,xn,k表示第n条数据向量中的第k个特征值，n＝1,2,…,n，k＝1,2,…,k，数据向量总数为n，每条数据向量的特征数为k，标记每条网络流量的类型，zn表示第n条数据的类型标签；
10、令数据特征集合feature＝{f1,f2,…,fk,…,fk,flabel}，其中，fk表示网络流量数据的第k个特征名，flabel表示网络流量标签；网络流量数据的类别标签集合为label＝{l1,l2,…,lm,…,lm}，其中lm表示网络流量数据的第m种类型标签，类型标签总数为m，zn∈label；
11、s12.数据清洗；采用pycharm工具中的duplicated函数、isnull函数以及z-score函数检查原始网络流量数据集xoriginal的数据向量中是否存在重复数据、缺失数据、异常数据，若存在，则删除该条数据向量；使用标签编码对离散的类别特征和标签数据进行数值化处理；
12、s13.数据归一化；
13、对清洗后的数据集进行最小-最大归一化处理，以便将数据值缩放到[0,1]区间。
14、其中，s2具体包括如下步骤：
15、s21.初始化cart决策树；
16、s22.选择当前节点的最优分裂特征和分裂点；
17、s23.根据最优分裂特征和分裂点划分数据集，生成子节点；
18、s24.判断cart决策树的节点分支是否停止；
19、s25.选择特征，构建目标数据集；
20、基于特征重要性进行特征选取。
21、优选的，s21具体包括如下步骤：令cart决策树的根节点数据集为归一化后的新数据集xnew；决策树的最大深度为hmax，子节点数据集样本数目最小值为qmin，节点标号为d；
22、初始化cart决策树的深度为h＝1，根节点标号为d＝0，根节点的数据集为x0＝xnew。
23、优选的，s22具体包括如下步骤：令当前节点，即标号为d的数据集为其中,第条数据的类型标签为特征集合feature＝{f1,f2,…,fk,flabel}，标签集合label＝{l1,l2,…,lm,…,lm}，表示当前节点数据集中第个长度为k数据样本。
24、优选的，,s23具体包括如下步骤：根据最佳分裂特征f*和分裂点α*将当前节点的数据集xd分裂为两个子集xleft和xright，分别作为当前节点的下层左右子节点的数据集，左节点标号dleft＝2×d+1，右节点的标记为dright＝2×d+2；令cart决策树的深度为h＝h+1。
25、优选的，s24具体包括如下步骤：检查cart树的深度h是否达到预设最大值hmax：
26、若是，节点分支停止，cart决策树构建完成；
27、若否，进一步检查子两个子节点数据集xleft和xright的数据样本数目是否少于预设的最小值qmin；
28、若是，节点分支停止，cart决策树构建完成；
29、若否，根据式(4)计算两个子节点数据集xleft和xright的基尼指数，判断其是否为正值；
30、若否，节点分支停止，cart决策树构建完成；
31、若是，分别以数据集xleft和xright作为新的当前节点，重复步骤2-2到2-4，继续进行节点分裂，直至cart决策树构建完成。
32、其中，s3具体包括如下步骤：
33、s31.构建lstm模型；
34、s32.初始化lstm模型参数；
35、s33.训练lstm模型；
36、s34.构建ewc模型；
37、s35.利用ewc模型对lstm模型参数进行修正，形成新lstm模型。
38、根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明的基于lstm-ewc的网络流量异常检测分类方法中的步骤。
39、根据本发明的又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明的基于lstm-ewc的网络流量异常检测分类方法中的步骤。
40、相比于现有技术，本发明至少具有如下有益效果：
41、本发明利用ewc算法在一定范围内固化lstm模型参数，开发一种能够持续学习网络流量特征的高效lstm-ewc模型，实现对特征动态变化的网络数据流的高效检测分类。
42、本发明既能学习网络流量数据的长期依赖关系，也能使模型在连续学习多个任务时，保留之前学到的知识。本发明方法建立在传统lstm模型的基础上，首先对原始数据集进行预处理，并建立cart决策树模型选择对网络流量类型影响较大的特征，构建目标数据集，划分为第一个任务(训练集)、第二个任务(验证集)和测试集；然后建立lstm模型，使用训练集数据训练模型，保留模型的参数；再建立lstm-ewc模型，用旧模型的参数初始化ewc模型，用验证集训练，得到最终的模型；最后，使用测试集数据评估该模型的性能。本发明方法通过cart决策树降低了传统lstm模型的计算和通信开销。同时，结合lstm和ewc的方法，保护了重要参数，在防止模型遗忘的同时，提升了整体检测性能。
1.一种基于lstm-ewc的网络流量异常检测分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，s1具体包括如下步骤：
3.根据权利要求2所述的方法，其特征在于，s2具体包括如下步骤：
4.根据权利要求3所述的方法，其特征在于,s21具体包括如下步骤：令cart决策树的根节点数据集为归一化后的新数据集xnew；决策树的最大深度为hmax，子节点数据集样本数目最小值为qmin，节点标号为d；
5.根据权利要求4所述的方法，其特征在于,s22具体包括如下步骤：令当前节点，即标号为d的数据集为其中,第条数据的类型标签为特征集合feature＝{f1,f2,…,fk,flabel}，标签集合表示当前节点数据集中第个长度为k数据样本。
6.根据权利要求5所述的方法，其特征在于,s23具体包括如下步骤：根据最佳分裂特征f*和分裂点α*将当前节点的数据集xd分裂为两个子集xleft和xright，分别作为当前节点的下层左右子节点的数据集，左节点标号dleft＝2×d+1，右节点的标记为dright＝2×d+2；令cart决策树的深度为h＝h+1。
7.根据权利要求6所述的方法，其特征在于，s24具体包括如下步骤：检查cart树的深度h是否达到预设最大值hmax：
8.根据权利要求1所述的方法，其特征在于，s3具体包括如下步骤：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1～8中任一项所述的基于lstm-ewc的网络流量异常检测分类方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的基于lstm-ewc的网络流量异常检测分类方法中的步骤。
