本发明涉及数据处理,尤其涉及一种基于数据安全分析的数据智能备份方法及系统。
背景技术:
1、主成分分析(pca)方法作为一种有效的降维和特征提取技术,在网络流量异常检测领域得到了广泛应用。pca方法能够从高维的网络流量数据中提取主要特征,有助于识别网络异常模式。目前,在利用pca方法进行网络流量异常检测的方法为基于重构误差的异常检测,该方法首先对网络流量数据进行增量pca降维,然后将降维后的数据重新投影到原始空间,计算原始数据与重构数据之间的误差,如果误差超过预设阈值,则判定为异常数据,这种方法能够有效检测出与正常网络行为模式显著不同的异常流量数据。
2、但是,传统的增量pca进行重构误差计算是通过平方和计算总体误差,而在云环境中的某些攻击或故障,有时只在短时间内或在特定网络特征上表现出异常,传统的增量pca会平等的对待所有特征,进而难以有效捕捉这些瞬时或局部异常,会平滑掉一些局部异常信号,
3、因此,如何优化利用传统的增量pca对云计算环境中的短暂局部异常的敏感度不足以及不能区分不同网络特征的重要性差异,以提高网络流量异常检测的准确性成为亟需解决的问题。
技术实现思路
1、有鉴于此,本发明实施例提供了一种基于数据安全分析的数据智能备份方法及系统,以解决传统的增量pca对云计算环境中的短暂局部异常的敏感度不足以及不能区分不同网络特征的重要性差异,以提高网络流量异常检测的准确性的问题。
2、第一方面,本发明实施例中提供了一种基于数据安全分析的数据智能备份方法,该方法包括以下步骤:
3、实时获取任一采样时刻的多维网络流量数据,得到以所述多维网络流量数据为最后一个数据的滑动窗口,利用增量pca方法,获取所述滑动窗口中的每个多维网络流量数据对应的多维重构数据;
4、针对所述多维网络流量数据中的任一维度对应的数据,根据所述维度对应的数据和所述滑动窗口中的每个多维网络流量数据对应的多维重构数据,获取所述维度对应的数据的重构误差阈值,根据所述滑动窗口中的每个多维网络流量数据在所述维度对应的数据,获取所述维度对应的数据的自适应权重;
5、根据所述多维网络流量数据中每个维度对应的数据的自适应权重和重构误差阈值,以及对应的多维重构数据,利用最大值函数对所述多维网络流量数据的重构误差进行优化,得到所述多维网络流量数据的综合异常分数;
6、根据所述多维网络流量数据的综合异常分数,对所述多维网络流量数据进行异常检测,得到异常检测结果,根据所述异常检测结果进行网络数据的智能数据备份。
7、优选的,所述根据所述维度对应的数据和所述滑动窗口中的每个多维网络流量数据对应的多维重构数据,获取所述维度对应的数据的重构误差阈值,包括:
8、分别获取所述滑动窗口中每个多维网络流量数据和对应的多维重构数据在所述维度下的数据的第一差值绝对值,得到所有第一差值绝对值的第一中位数、第一四分位数和第三四分位数;
9、在所述滑动窗口中分别获取相邻两个多维网络流量数据在所述维度下的数据的第二差值绝对值,得到所有第二差值绝对值的第二中位数,计算所述多维网络流量数据对应的第二差值绝对值与所述第二中位数之间的第一比值;
10、将常数1和所述第一比值的和作为预设的对数函数的自变量,得到所述维度对应的时间连续性指标,计算所述第一四分位数和所述第三四分位数的差值,获取所述差值与所述时间连续性指标的乘积,根据所述乘积和所述第一中位数,得到所述维度对应的数据的重构误差阈值。
11、优选的,所述根据所述滑动窗口中的每个多维网络流量数据在所述维度对应的数据,获取所述维度对应的数据的自适应权重,包括:
12、分别获取所述滑动窗口中每个维度对应的数据方差,得到所有数据方差的第三中位数,分别计算每个维度对应的数据方差与所述第三中位数之间的差值绝对值,得到所有差值绝对值的第四中位数;
13、计算所述维度对应的数据的差值绝对值与所述第四中位数之间的第二比值,利用预设的指数函数对所述第二比值进行正映射,得到所述维度对应的数据的自适应权重。
14、优选的,所述根据所述多维网络流量数据中每个维度对应的数据的自适应权重和重构误差阈值,以及对应的多维重构数据,利用最大值函数对所述多维网络流量数据的重构误差进行优化,得到所述多维网络流量数据的综合异常分数,包括:
15、根据所述多维网络流量数据与对应的多维重构数据在任一维度下的数据差值绝对值,得到所述维度对应的数据的重构误差,获取所述重构误差与所述维度对应的数据的重构误差阈值之间的差值,利用最大值函数获取所述差值与预设值之间的最大值作为所述维度对应的数据的优化重构误差;
16、获取所述多维网络流量数据中每个维度对应的数据的优化重构误差,根据所述多维网络流量数据中每个维度对应的数据的自适应权重,对所有优化重构误差进行加权求和,得到所述多维网络流量数据的综合异常分数。
17、优选的,所述根据所述多维网络流量数据的综合异常分数,对所述多维网络流量数据进行异常检测,得到异常检测结果,包括:
18、根据更新后的异常分数阈值,得到最大异常分数阈值,若所述多维网络流量数据的综合异常分数大于所述最大异常分数阈值,则标记所述多维网络流量数据的采样时刻出现网络异常。
19、优选的,所述根据所述多维网络流量数据的综合异常分数,对所述多维网络流量数据进行异常检测,得到异常检测结果,还包括:
20、以所述多维网络流量数据为最后一个数据构建新滑动窗口,所述新滑动窗口小于所述滑动窗口,根据所述新滑动窗口中的每个多维网络流量数据的综合异常分数,得到平均综合异常分数,若所述平均综合异常分数大于所述更新后的异常分数阈值,则标记所述新滑动窗口对应的时段出现网络异常。
21、优选的,所述更新后的异常分数阈值的获取方法,包括:
22、获取预设的阈值更新时长中的每个多维网络流量数据的综合异常分数,得到所有综合异常分数的预设百分位数,获取更新前的异常分数阈值,对所述预设百分位数和所述更新前的异常分数阈值进行加权求和,得到更新后的异常分数阈值。
23、优选的,所述根据所述异常检测结果进行网络数据的智能数据备份,包括:
24、若所述异常检测结果为所述多维网络流量数据的采样时刻出现网络异常,则对所述多维网络流量数据的采样时刻之前和之后构成的第一时段内的所有维度的网络流量数据进行数据备份。
25、优选的,所述根据所述异常检测结果进行网络数据的智能数据备份,包括:
26、若所述异常检测结果为所述新滑动窗口对应的时段出现网络异常,则对所述多维网络流量数据的采样时刻之前和之后构成的第二时段内的所有维度的网络流量数据进行数据备份,其中,所述第一时段小于所述第二时段。
27、第二方面,本发明实施例提供了一种基于数据安全分析的数据智能备份系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述一种基于数据安全分析的数据智能备份方法。
28、本发明实施例与现有技术相比存在的有益效果是:
29、本发明实时获取任一采样时刻的多维网络流量数据,得到以所述多维网络流量数据为最后一个数据的滑动窗口,利用增量pca方法,获取所述滑动窗口中的每个多维网络流量数据对应的多维重构数据;针对所述多维网络流量数据中的任一维度对应的数据,根据所述维度对应的数据和所述滑动窗口中的每个多维网络流量数据对应的多维重构数据,获取所述维度对应的数据的重构误差阈值,根据所述滑动窗口中的每个多维网络流量数据在所述维度对应的数据,获取所述维度对应的数据的自适应权重;根据所述多维网络流量数据中每个维度对应的数据的自适应权重和重构误差阈值,以及对应的多维重构数据,利用最大值函数对所述多维网络流量数据的重构误差进行优化,得到所述多维网络流量数据的综合异常分数;根据所述多维网络流量数据的综合异常分数,对所述多维网络流量数据进行异常检测,得到异常检测结果,根据所述异常检测结果进行网络数据的智能数据备份。其中,在对多维网络流量数据进行重构误差时,通过引入动态的重构误差阈值以及最大值函数,分别对每个维度的重构误差进行优化,同时,通过引入动态特征的自适应权重,调整每个维度的数据在基于重构误差进行异常检测时的重要性,使得多维网络流量数据的综合异常分数能够捕捉局部显著变化的同时,保留对全局异常的敏感性,增强了利用多维网络流量数据的综合异常分数进行异常检测的准确性,从而根据异常检测结果执行智能数据备份操作,确保了在检测到潜在安全威胁时能够及时保护关键数据。
1.一种基于数据安全分析的数据智能备份方法,其特征在于,所述一种基于数据安全分析的数据智能备份方法包括:
2.根据权利要求1所述的一种基于数据安全分析的数据智能备份方法,其特征在于,所述根据所述维度对应的数据和所述滑动窗口中的每个多维网络流量数据对应的多维重构数据,获取所述维度对应的数据的重构误差阈值,包括:
3.根据权利要求1所述的一种基于数据安全分析的数据智能备份方法,其特征在于,所述根据所述滑动窗口中的每个多维网络流量数据在所述维度对应的数据,获取所述维度对应的数据的自适应权重,包括:
4.根据权利要求1所述的一种基于数据安全分析的数据智能备份方法,其特征在于,所述根据所述多维网络流量数据中每个维度对应的数据的自适应权重和重构误差阈值,以及对应的多维重构数据,利用最大值函数对所述多维网络流量数据的重构误差进行优化,得到所述多维网络流量数据的综合异常分数,包括:
5.根据权利要求1所述的一种基于数据安全分析的数据智能备份方法,其特征在于,所述根据所述多维网络流量数据的综合异常分数,对所述多维网络流量数据进行异常检测,得到异常检测结果,包括:
6.根据权利要求5所述的一种基于数据安全分析的数据智能备份方法,其特征在于,所述根据所述多维网络流量数据的综合异常分数,对所述多维网络流量数据进行异常检测,得到异常检测结果,还包括:
7.根据权利要求5所述的一种基于数据安全分析的数据智能备份方法,其特征在于,所述更新后的异常分数阈值的获取方法,包括:
8.根据权利要求6所述的一种基于数据安全分析的数据智能备份方法,其特征在于,所述根据所述异常检测结果进行网络数据的智能数据备份,包括:
9.根据权利要求8所述的一种基于数据安全分析的数据智能备份方法,其特征在于,所述根据所述异常检测结果进行网络数据的智能数据备份,包括:
10.一种基于数据安全分析的数据智能备份系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如权利要求1-9任一项所述的一种基于数据安全分析的数据智能备份方法。