本发明涉及数据处理领域和计算机领域,具体涉及到一种基于目标特性的多节点数据同步方法和装置。
背景技术:
1、在计算机网络中,传统的数据同步技术主要是基于存储层协议或基于应用层协议实现多节点之间的数据同步,基于存储层协议的同步能较好的实现多节点之间数据的同步,但无法满足节点各自的业务需求,只能做到全量同步。传统基于应用层的协议的数据同步多面向结构化数据,无法满足针对非结构化的数据文件的同步需求。
2、为满足目标特性数据库多节点和差异化建设需要,构建满足不同能力需求的多节点系统,实现目标特性数据的统一汇集和按需分发,满足数据的多级级联及一致性要求,是当前亟需解决的问题。
技术实现思路
1、本发明主要解决满足目标特性数据库多节点和差异化建设需要,构建满足不同能力需求的多节点系统,实现目标特性数据的统一汇集和按需分发,满足数据的多级级联及一致性要求的问题,本发明公开了一种基于目标特性的多节点数据同步方法和装置。
2、本申请实施例第一方面,公开了一种基于目标特性的多节点数据同步方法,包括:
3、s1,获取目标数据信息;
4、s2,对所述目标数据信息进行数据切分处理,得到原始数据包集合;所述原始数据包集合,包括原始数据包;
5、s3,将所述原始数据包集合下发至计算机网络的各个节点;
6、s4,每个节点对所接收得到的原始数据包进行数据同步处理,实现对数据的分类存储。
7、所述每个节点对所接收得到的原始数据包进行数据同步处理,实现对数据的分类存储,包括:
8、s41,每个节点对所接收得到的原始数据包进行预处理,得到预处理数据包;
9、s42,利用预设的分类信息,对预处理数据包进行分类识别处理,得到预处理数据包的每个目标特性数据的类别信息;
10、s43,基于数据的类别信息,对预处理数据包的目标特性数据进行分类存储。
11、所述对所接收得到的原始数据包进行预处理,得到预处理数据包,包括:
12、s411,对所述原始数据包进行数据清理处理,得到第一数据包;
13、s412,对所述第一数据包进行归一化处理,得到第二数据包;
14、s413,对所述第二数据包进行边界检查处理,得到预处理数据包。
15、所述对所述第二数据包进行边界检查处理,得到预处理数据包,包括:
16、s4131,对所述第二数据包的每个数据属性,预设对应的取值范围;所述取值范围,包括取值范围上界值和取值范围下界值;
17、s4132,对所述第二数据包的每个数据,根据其数据属性的取值范围,判别所述数据取值是否在所述取值范围内;当在所述取值范围内时,不对所述数据进行处理;当不在所述取值范围内时,设定所述数据取值为与其最接近的所述取值范围的取值范围上界值或取值范围下界值;
18、s4133,对所述第二数据包的所有完成s4132后的数据进行融合处理,得到预处理数据包。
19、所述对所述第二数据包进行边界检查处理,得到预处理数据包,包括:
20、s4131,对所述第二数据包的每一类数据属性的数据,以所述数据的数据采集信息为自变量,以所述数据的数据取值为因变量,进行自回归-滑动平均建模,分别得到所述类数据属性的回归模型;利用所述回归模型,对所述自变量进行计算处理,得到回归数据取值;判别所述回归数据取值与对应的因变量值之差的绝对值,是否大于设定的第一回归判别阈值;若大于所述第一回归判别阈值,将所述数据从所述第二数据包中删除,若小于等于所述第一回归判别阈值,不对所述数据进行处理;
21、s4132,利用所述第二数据包的所有执行s4131后的数据,构建得到预处理数据包。
22、所述利用预设的分类信息,对预处理数据包进行分类识别处理,得到预处理数据包的每个目标特性数据的类别信息,包括:
23、s421,获取得到预设的分类信息;所述分类信息,表示为分类矩阵;所述分类矩阵的行向量,为每个目标特性类型的所有数据属性的典型值构建得到的向量;所述分类矩阵的行向量的行序号,为分类序号;所述分类序号表示行向量对应的目标特性类型的类别信息;
24、s422,利用预处理数据包的每条目标特性数据,分别构建得到对应的待识别向量;
25、s423,对每个待识别向量,与分类矩阵的每个行向量,分别进行互相关运算,得到对应的互相关序列;
26、s424,利用每个待识别向量对应的所有互相关序列,构建得到对应的相关矩阵;
27、s425,对相关矩阵进行分解处理,得到特征矩阵;
28、s426,将所述特征矩阵的对角线元素进行提取,得到特征向量;对所述特征向量的元素和元素序号值进行线性拟合处理,得到最佳一致逼近多项式;
29、s427,利用最佳一致逼近多项式,对每个特征向量的元素分别进行计算处理,得到对应的计算值;
30、s428,确定最小的计算值对应的特征向量的元素,在所述特征向量中的序号,为对应的待识别向量的分类序号;
31、s429,对所述预处理数据包的每条目标特性数据,依次执行s422至s428,得到预处理数据包的每个目标特性数据的类别信息。
32、所述分解处理,其计算表达式为:
33、y=uav,
34、其中,u为左分解矩阵,a为特征矩阵,v为右分解矩阵,u和v均为正交矩阵,a为对角矩阵,y为相关矩阵。
35、本发明实施例第二方面,公开了一种基于目标特性的多节点数据同步装置,所述装置包括:
36、存储有可执行程序代码的存储器;
37、与所述存储器耦合的处理器;
38、所述处理器调用所述存储器中存储的所述可执行程序代码,执行所述的基于目标特性的多节点数据同步方法。
39、本发明实施例第三方面,公开了一种计算机可存储介质,所述计算机可存储介质存储有计算机指令,所述计算机指令被计算机调用时,用于执行所述的基于目标特性的多节点数据同步方法。
40、本发明实施例第四方面,公开了一种信息数据处理终端,所述信息数据处理终端用于实现所述的基于目标特性的多节点数据同步方法。
41、本发明的有益效果为:
42、1、本发明方法和装置,能够实现对不同类型的目标特性数据进行分类,有效抑制了噪声和干扰的影响,满足目标特性数据库多节点和差异化建设需要,构建了满足不同能力需求的多节点系统,实现目标特性数据的统一汇集和按需分发,满足了数据的多级级联及一致性要求。
43、2、采用本发明的方法,能够在各级系统节点之间保证数据的一致性、为各级节点间数据的在线共享分发提供通道,使得目标特性的原始文件及格式化信息均能得到共享,实现目标特性数据的统一接入和共享。
1.一种基于目标特性的多节点数据同步方法,其特征在于,包括:
2.如权利要求1所述的基于目标特性的多节点数据同步方法,其特征在于,所述每个节点对所接收得到的原始数据包进行数据同步处理,实现对数据的分类存储,包括:
3.如权利要求2所述的基于目标特性的多节点数据同步方法,其特征在于,所述对所接收得到的原始数据包进行预处理,得到预处理数据包,包括:
4.如权利要求3所述的基于目标特性的多节点数据同步方法,其特征在于,所述对所述第二数据包进行边界检查处理,得到预处理数据包,包括:
5.如权利要求3所述的基于目标特性的多节点数据同步方法,其特征在于,所述对所述第二数据包进行边界检查处理,得到预处理数据包,包括:
6.如权利要求3所述的基于目标特性的多节点数据同步方法,其特征在于,所述利用预设的分类信息,对预处理数据包进行分类识别处理,得到预处理数据包的每个目标特性数据的类别信息,包括:
7.如权利要求6所述的基于目标特性的多节点数据同步方法,其特征在于,所述分解处理,其计算表达式为:
8.一种基于目标特性的多节点数据同步装置,其特征在于,所述装置包括:
9.一种计算机可存储介质,其特征在于,所述计算机可存储介质存储有计算机指令,所述计算机指令被计算机调用时,用于执行如权利要求1至7中任一项所述的基于目标特性的多节点数据同步方法。
10.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求1至7中任一项所述的基于目标特性的多节点数据同步方法。