基于数据属性的数据清洗方法、装置、设备及存储介质与流程

专利2026-07-27  14


本发明涉及数据清洗,具体是涉及基于数据属性的数据清洗方法、装置、设备及存储介质。


背景技术:

1、数据清洗也就是去除冗余的数据,以提高数据质量。采集个体(该个体可以是机电设备)的各个属性数据,每次采集都采集该个体的所有属性数据,以形成该次采集的数据组(也就是所有属性数据组合成的整条数据),一旦该数据组中的其中一个属性数据或几个属性数据被判定为需要清洗的数据,即使该数据组的其它属性数据未被判定为需要清洗的数据,那么也会直接清洗掉该数据组,从而导致重要的属性数据也会被清洗掉,进而导致有价值的属性数据流失。

2、综上所述,现有的数据清洗方法易误清洗掉重要属性数据。

3、因此,现有技术还有待改进和提高。


技术实现思路

1、为解决上述技术问题,本发明提供了基于数据属性的数据清洗方法、装置、设备及存储介质,解决了现有的数据清洗方法易误清洗掉重要属性数据的问题。

2、为实现上述目的,本发明采用了以下技术方案:

3、第一方面,本发明提供一种基于数据属性的数据清洗方法,其中,包括:

4、获取实时数据组,实时数据组包括目标个体的各个属性所对应的实时数据;

5、从各个所述属性所对应的实时数据中筛选出满足属性清洗条件的需清洗数据,并去除所述实时数据组内的需清洗数据;

6、保存去除所述需清洗数据之后的所述实时数据组。

7、在一种实现方式中,所述获取实时数据组,包括:

8、从各个所述属性中筛选出稳定性最差的属性;

9、获取稳定性最差的属性所对应的最短稳定时长;

10、依据所述最短稳定时长,确定采集设备的采集频率,所述采集设备用于采集所述目标个体的属性;

11、控制所述采集设备以所述采集频率采集实时数据组,并通过所述采集设备获取实时数据组。

12、在一种实现方式中,所述从各个所述属性所对应的实时数据中筛选出满足属性清洗条件的需清洗数据,并去除所述实时数据组内的需清洗数据,包括:

13、确定所述属性清洗条件中的属性过滤条件和属性去重条件;

14、从各个所述属性所对应的实时数据中筛选出满足所述属性过滤条件的需过滤数据和满足所述属性去重条件的需去重数据,并将所述需过滤数据和所述需去重数据作为所述需清洗数据,并从所述实时数据组内去除所述需过滤数据和所述需去重数据。

15、在一种实现方式中,所述从各个所述属性所对应的实时数据中筛选出满足所述属性过滤条件的需过滤数据和满足所述属性去重条件的需去重数据,并将所述需过滤数据和所述需去重数据作为所述需清洗数据,并从所述实时数据组内去除所述需过滤数据和所述需去重数据,包括:

16、确定所述属性过滤条件所对应的属性的第一总数量;

17、确定所述属性去重条件所对应的属性的第二总数量;

18、当所述第一总数量大于或等于所述第二总数量,从各个所述属性所对应的实时数据中筛选出满足所述属性过滤条件的需过滤数据,并从实时数据组内的所述实时数据中去除需过滤数据,得到过滤数据组;

19、从所述过滤数据组内的所述实时数据中筛选出满足所述属性去重条件的所述需去重数据,并从所述过滤数据组内的所述实时数据中去除所述需去重数据。

20、在一种实现方式中,所述从各个所述属性所对应的实时数据中筛选出满足所述属性过滤条件的需过滤数据和满足所述属性去重条件的需去重数据,并将所述需过滤数据和所述需去重数据作为所述需清洗数据,并从所述实时数据组内去除所述需过滤数据和所述需去重数据,还包括:

21、当所述第一总数量小于所述第二总数量,从各个所述属性所对应的实时数据中筛选出满足所述属性去重条件的需去重数据,并从实时数据组内的所述实时数据中去除所述需去重数据,得到去重数据组;

22、从所述去重数据组内的所述实时数据中筛选出满足所述属性过滤条件的需过滤数据,并从所述去重数据组内的所述实时数据中去除所述需过滤数据。

23、在一种实现方式中,所述属性去重条件为所述属性的实时数据和该属性的历史数据相同,或者,所述属性去重条件为所述属性的实时数据和该属性的历史数据之间的差值小于阈值。

24、在一种实现方式中,所述保存去除所述需清洗数据之后的所述实时数据组,包括:

25、将去除所述需清洗数据之后的所述实时数据组保存至云平台的栈内。

26、第二方面,本发明实施例还提供一种基于数据属性的数据清洗装置,其中,所述装置包括如下组成部分:

27、数据读取模块,用于获取实时数据组,实时数据组包括目标个体的各个属性所对应的实时数据;

28、数据清洗模块,用于从各个所述属性所对应的实时数据中筛选出满足属性清洗条件的需清洗数据,并去除所述实时数据组内的需清洗数据;

29、数据保存模块,用于保存去除所述需清洗数据之后的所述实时数据组。

30、在一种实现方式中,所述数据读取模块,包括:

31、属性筛选单元,用于从各个所述属性中筛选出稳定性最差的属性;

32、时长读取单元,用于获取稳定性最差的属性所对应的最短稳定时长;

33、频率计算单元,用于依据所述最短稳定时长,确定采集设备的采集频率,所述采集设备用于采集所述目标个体的属性;

34、控制单元,用于控制所述采集设备以所述采集频率采集实时数据组,并通过所述采集设备获取实时数据组。

35、在一种实现方式中,所述数据清洗模块,包括:

36、条件设定单元,用于确定所述属性清洗条件中的属性过滤条件和属性去重条件;

37、清洗单元,用于从各个所述属性所对应的实时数据中筛选出满足所述属性过滤条件的需过滤数据和满足所述属性去重条件的需去重数据,并将所述需过滤数据和所述需去重数据作为所述需清洗数据,并从所述实时数据组内去除所述需过滤数据和所述需去重数据。

38、在一种实现方式中,所述清洗单元,包括:

39、第一数量计算组件,用于确定所述属性过滤条件所对应的属性的第一总数量;

40、第二数量计算组件,用于确定所述属性去重条件所对应的属性的第二总数量,所述属性去重条件所对应的属性和所述属性过滤条件所对应的属性相异;

41、第一过滤组件,用于当所述第一总数量大于或等于所述第二总数量,从各个所述属性所对应的实时数据中筛选出满足所述属性过滤条件的需过滤数据,并从实时数据组内的所述实时数据中去除需过滤数据,得到过滤数据组;

42、第一去重组件,用于从所述过滤数据组内的所述实时数据中筛选出满足所述属性去重条件的所述需去重数据,并从所述过滤数据组内的所述实时数据中去除所述需去重数据。

43、在一种实现方式中,所述清洗单元,还包括:

44、第二去重组件,用于当所述第一总数量小于所述第二总数量,从各个所述属性所对应的实时数据中筛选出满足所述属性去重条件的需去重数据,并从实时数据组内的所述实时数据中去除所述需去重数据,得到去重数据组;

45、第二过滤组件,用于从所述去重数据组内的所述实时数据中筛选出满足所述属性过滤条件的需过滤数据,并从所述去重数据组内的所述实时数据中去除所述需过滤数据。

46、在一种实现方式中,所述数据保存模块,包括:

47、数据保存单元,用于将去除所述需清洗数据之后的所述实时数据组保存至云平台的栈内。

48、第三方面,本发明实施例还提供一种终端设备,其中,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于数据属性的数据清洗程序,所述处理器执行所述基于数据属性的数据清洗程序时,实现上述所述的基于数据属性的数据清洗方法的步骤。

49、第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于数据属性的数据清洗程序,所述基于数据属性的数据清洗程序被处理器执行时,实现上述所述的基于数据属性的数据清洗方法的步骤。

50、有益效果:本发明将每次采集的各个属性的实时数据作为一个实时数据组,然后基于属性清洗条件,判断属性的实时数据是否满足该属性清洗条件,如果满足该属性清洗条件,那么就去除该属性的实时数据,但是本发明只是去除该属性的实时数据,而不会去除整个实时数据组,从而使得该实时数据组内的其它属性的实时数据得以保存。从上述分析可知,本发明既能够去除需要清洗的属性数据,又能够保留其它不需要清洗的属性数据,从而使得提高了本发明的数据清洗质量。


技术特征:

1.一种基于数据属性的数据清洗方法,其特征在于,包括:

2.如权利要求1所述的基于数据属性的数据清洗方法,其特征在于,所述获取实时数据组,包括:

3.如权利要求1所述的基于数据属性的数据清洗方法,其特征在于,所述从各个所述属性所对应的实时数据中筛选出满足属性清洗条件的需清洗数据,并去除所述实时数据组内的需清洗数据,包括:

4.如权利要求3所述的基于数据属性的数据清洗方法,其特征在于,所述从各个所述属性所对应的实时数据中筛选出满足所述属性过滤条件的需过滤数据和满足所述属性去重条件的需去重数据,并将所述需过滤数据和所述需去重数据作为所述需清洗数据,并从所述实时数据组内去除所述需过滤数据和所述需去重数据,包括:

5.如权利要求4所述的基于数据属性的数据清洗方法,其特征在于,所述从各个所述属性所对应的实时数据中筛选出满足所述属性过滤条件的需过滤数据和满足所述属性去重条件的需去重数据,并将所述需过滤数据和所述需去重数据作为所述需清洗数据,并从所述实时数据组内去除所述需过滤数据和所述需去重数据,还包括:

6.如权利要求3-5任一项所述的基于数据属性的数据清洗方法,其特征在于,所述属性去重条件为所述属性的实时数据和该属性的历史数据相同,或者,所述属性去重条件为所述属性的实时数据和该属性的历史数据之间的差值小于阈值。

7.如权利要求1-5任一项所述的基于数据属性的数据清洗方法,其特征在于,所述保存去除所述需清洗数据之后的所述实时数据组,包括:

8.一种基于数据属性的数据清洗装置,其特征在于,所述装置包括如下组成部分:

9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于数据属性的数据清洗程序,所述处理器执行所述基于数据属性的数据清洗程序时,实现如权利要求1-7任一项所述的基于数据属性的数据清洗方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于数据属性的数据清洗程序,所述基于数据属性的数据清洗程序被处理器执行时,实现如权利要求1-7任一项所述的基于数据属性的数据清洗方法的步骤。


技术总结
本发明涉及数据清洗技术领域,具体是涉及基于数据属性的数据清洗方法、装置、设备及存储介质。本发明将每次采集的各个属性的实时数据作为一个实时数据组,然后基于属性清洗条件,判断属性的实时数据是否满足该属性清洗条件,如果满足该属性清洗条件,那么就去除该属性的实时数据,但是本发明只是去除该属性的实时数据,而不会去除整个实时数据组,从而使得该实时数据组内的其它属性的实时数据得以保存。从上述分析可知,本发明既能够去除需要清洗的属性数据,又能够保留其它不需要清洗的属性数据,从而使得提高了本发明的数据清洗质量。

技术研发人员:端伟彬
受保护的技术使用者:深圳开鸿数字产业发展有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-33006.html