应用深度学习的数据质量检测方法及系统与流程

专利2025-03-03  58


本技术涉及数据处理,更具体地,涉及一种应用深度学习的数据质量检测方法及系统。


背景技术:

1、在海洋环境监测领域,数据的准确性和质量至关重要。然而,传统的数据质量检测方法往往依赖于人工分析和判断,不仅效率低下,而且容易受到主观因素的影响,导致数据质量检测结果的不稳定性和不可靠性。同时,随着海洋环境监测数据的不断增加和复杂化,传统方法已经难以应对大规模数据的处理需求。


技术实现思路

1、有鉴于此,本技术提供了一种应用深度学习的数据质量检测方法及系统。

2、本技术实施例提供了一种应用深度学习的数据质量检测方法,应用于数据质量检测系统,所述方法包括:

3、在样本数据集包括的第一传感监测样本数据集中获取最少一个海洋环境传感监测样本数据,并在所述样本数据集包括的第二传感监测样本数据集中获取最少一个海洋环境样本增广数据,所述第一传感监测样本数据集中的海洋环境传感监测样本数据的个数大于所述第二传感监测样本数据集中的海洋环境样本增广数据的个数;

4、通过监测数据分析网络,分别对所述最少一个海洋环境传感监测样本数据中的每个海洋环境传感监测样本数据进行知识向量挖掘,得到所述每个海洋环境传感监测样本数据的环境监测质量知识向量;并通过所述监测数据分析网络,分别对所述最少一个海洋环境样本增广数据中的每个海洋环境样本增广数据进行知识向量挖掘,得到所述每个海洋环境样本增广数据的环境监测质量知识向量;

5、依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量和所述每个海洋环境样本增广数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差;

6、基于收敛所述目标网络调试误差的规则,改进所述监测数据分析网络中的网络配置变量,以获得数据质量检测网络,所述数据质量检测网络用于对海洋环境样本增广数据进行数据质量检测。

7、在一些技术方案中,所述依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量和所述每个海洋环境样本增广数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差,包括:

8、依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量和所述每个海洋环境传感监测样本数据的先验训练标注,确定所述监测数据分析网络的第一网络调试误差,任一海洋环境传感监测样本数据的先验训练标注用于表征所述任一海洋环境传感监测样本数据所对应的海洋环境区域;

9、依据所述每个海洋环境样本增广数据的环境监测质量知识向量和所述每个海洋环境样本增广数据的先验训练标注,确定所述监测数据分析网络的第二网络调试误差,任一海洋环境样本增广数据的先验训练标注用于表征所述任一海洋环境样本增广数据所对应的关联环境区域;

10、对所述第一网络调试误差和所述第二网络调试误差进行整合,得到所述监测数据分析网络的目标网络调试误差。

11、在一些技术方案中,所述方法还包括:

12、在所述样本数据集中获取最少一个目标环境传感监测样本数据,所述最少一个目标环境传感监测样本数据包括最少一个目标海洋环境样本增广数据,或者最少一个目标海洋环境传感监测样本数据和最少一个目标海洋环境样本增广数据;

13、通过所述监测数据分析网络,分别对所述最少一个目标环境传感监测样本数据中的每个目标海洋环境样本增广数据进行知识向量挖掘,得到所述每个目标海洋环境样本增广数据的环境监测质量知识向量;

14、所述依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量和所述每个海洋环境样本增广数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差,包括:

15、依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量、所述每个海洋环境样本增广数据的环境监测质量知识向量以及所述每个目标海洋环境样本增广数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差。

16、在一些技术方案中,所述依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量、所述每个海洋环境样本增广数据的环境监测质量知识向量以及所述每个目标海洋环境样本增广数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差,包括:

17、依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量和所述每个海洋环境传感监测样本数据的先验训练标注,确定所述监测数据分析网络的第一网络调试误差,任一海洋环境传感监测样本数据的先验训练标注用于表征所述任一海洋环境传感监测样本数据所对应的海洋环境区域;

18、依据所述每个海洋环境样本增广数据的环境监测质量知识向量和所述每个海洋环境样本增广数据的先验训练标注,确定所述监测数据分析网络的第二网络调试误差,任一海洋环境样本增广数据的先验训练标注用于表征所述任一海洋环境样本增广数据所对应的关联环境区域;

19、依据所述每个目标海洋环境样本增广数据的环境监测质量知识向量和所述每个目标海洋环境样本增广数据的先验训练标注,确定所述监测数据分析网络的第三网络调试误差,任一目标海洋环境样本增广数据的先验训练标注用于表征所述任一目标海洋环境样本增广数据所对应的关联环境区域;

20、对所述第一网络调试误差、所述第二网络调试误差以及所述第三网络调试误差进行整合,得到所述监测数据分析网络的目标网络调试误差。

21、在一些技术方案中,所述监测数据分析网络包括所述第一传感监测样本数据集中各个海洋环境传感监测样本数据所对应的海洋环境区域的第一分团簇置信度,以及所述第二传感监测样本数据集中各个海洋环境样本增广数据所对应的关联环境区域的第二分团簇置信度;所述依据所述每个目标海洋环境样本增广数据的环境监测质量知识向量和所述每个目标海洋环境样本增广数据的先验训练标注,确定所述监测数据分析网络的第三网络调试误差,包括:

22、游走所述最少一个目标环境传感监测样本数据中的目标海洋环境样本增广数据,并分别对游走的目标海洋环境样本增广数据,与每个第一分团簇置信度和每个第二分团簇置信度进行集成处理,得到所述游走的目标海洋环境样本增广数据归属于所述每个第一分团簇置信度对应的海洋环境区域的可能性,以及归属于所述每个第二分团簇置信度对应的关联环境区域的可能性;

23、在游走完所述最少一个目标环境传感监测样本数据中的目标海洋环境样本增广数据后,依据所述每个目标海洋环境样本增广数据的可能性和所述每个目标海洋环境样本增广数据的先验训练标注,确定所述监测数据分析网络的第三网络调试误差。

24、在一些技术方案中,所述依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量和所述每个海洋环境传感监测样本数据的先验训练标注,确定所述监测数据分析网络的第一网络调试误差,包括:

25、游走所述最少一个海洋环境传感监测样本数据,并对游走的海洋环境传感监测样本数据的环境监测质量知识向量和每个第一分团簇置信度进行集成处理,得到所述游走的海洋环境传感监测样本数据归属于所述每个第一分团簇置信度对应的海洋环境区域的可能性;在游走完所述最少一个海洋环境传感监测样本数据后,依据所述每个海洋环境传感监测样本数据的可能性和所述每个海洋环境传感监测样本数据的先验训练标注,确定所述监测数据分析网络的第一网络调试误差;

26、所述依据所述每个海洋环境样本增广数据的环境监测质量知识向量和所述每个海洋环境样本增广数据的先验训练标注,确定所述监测数据分析网络的第二网络调试误差,包括:

27、游走所述最少一个海洋环境样本增广数据,并对游走的海洋环境样本增广数据的环境监测质量知识向量和每个第二分团簇置信度进行集成处理,得到所述游走的海洋环境样本增广数据归属于所述每个第二分团簇置信度对应的关联环境区域的可能性;在游走完所述最少一个海洋环境样本增广数据后,依据所述每个海洋环境样本增广数据的可能性和所述每个海洋环境样本增广数据的先验训练标注,确定所述监测数据分析网络的第二网络调试误差。

28、在一些技术方案中,所述最少一个目标环境传感监测样本数据包括最少一个目标海洋环境传感监测样本数据,或者最少一个目标海洋环境样本增广数据,或者最少一个目标海洋环境传感监测样本数据和最少一个目标海洋环境样本增广数据;所述通过所述监测数据分析网络,分别对所述最少一个目标环境传感监测样本数据中的每个目标海洋环境样本增广数据进行知识向量挖掘,得到所述每个目标海洋环境样本增广数据的环境监测质量知识向量,包括:

29、通过所述监测数据分析网络,分别对所述最少一个目标环境传感监测样本数据中的各个目标环境传感监测样本数据进行知识向量挖掘,得到所述各个目标环境传感监测样本数据的环境监测质量知识向量;

30、所述依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量、所述每个海洋环境样本增广数据的环境监测质量知识向量以及所述每个目标海洋环境样本增广数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差,包括:

31、依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量、所述每个海洋环境样本增广数据的环境监测质量知识向量以及所述各个目标环境传感监测样本数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差。

32、在一些技术方案中,所述监测数据分析网络包括知识向量挖掘分支,所述知识向量挖掘分支用于对各个海洋环境传感监测数据进行知识向量挖掘;所述基于收敛所述目标网络调试误差的规则,改进所述监测数据分析网络中的网络配置变量,以获得数据质量检测网络,包括:

33、基于收敛所述目标网络调试误差的规则,改进所述知识向量挖掘分支的向量挖掘指示参量,以获得数据质量检测网络;其中,所述数据质量检测网络包括向量挖掘指示参量改进后的知识向量挖掘分支。

34、在一些技术方案中,所述方法还包括:

35、在所述样本数据集包括的第一传感监测样本数据集中筛选最少一个海洋环境传感监测样本数据;

36、通过基础监测数据分析网络,分别对筛选的最少一个海洋环境传感监测样本数据中的各个海洋环境传感监测样本数据进行知识向量挖掘,得到所述筛选的各个海洋环境传感监测样本数据的环境监测质量知识向量;

37、依据所述筛选的各个海洋环境传感监测样本数据的环境监测质量知识向量和所述筛选的各个海洋环境传感监测样本数据的先验训练标注,确定所述基础监测数据分析网络的预调试网络调试误差;

38、基于收敛所述预调试网络调试误差的规则,改进所述基础监测数据分析网络中的网络配置变量,得到所述监测数据分析网络。

39、本技术还提供了一种数据质量检测系统,包括:存储器,用于存储程序指令和数据;处理器,用于与存储器耦合,执行所述存储器中的指令,以实现如上述的方法。

40、本技术还提供了一种计算机存储介质,包含指令,当所述指令在处理器上执行时,实现上述的方法。

41、本技术实施例通过自动化的数据处理和分析流程,能够高效地处理大规模的海洋环境监测数据,并准确地检测出数据中的质量问题。详细地,通过构建专门的监测数据分析网络,对原始的海洋环境传感监测样本数据和增广数据进行深度的知识向量挖掘,从而提炼出反映环境质量的关键特征。这一过程中,不仅提高了数据处理的效率,还增强了数据分析的全面性和可靠性。此外,还通过精确地确定监测数据分析网络的目标网络调试误差,为后续的网络优化提供了坚实的基础。通过改进网络配置变量,最终获得了一个高效、准确的数据质量检测网络。数据质量检测网络在实际应用中能够快速识别和剔除低质量数据,从而极大地提高了海洋环境监测数据的可信度和有效性。

42、因此,本技术实施例的技术方案旨在解决传统数据质量检测方法存在的问题,为海洋环境监测领域提供更为高效、准确的数据分析工具。


技术特征:

1.一种应用深度学习的数据质量检测方法,其特征在于,应用于数据质量检测系统,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量和所述每个海洋环境样本增广数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量、所述每个海洋环境样本增广数据的环境监测质量知识向量以及所述每个目标海洋环境样本增广数据的环境监测质量知识向量,确定所述监测数据分析网络的目标网络调试误差,包括:

5.根据权利要求4所述的方法,其特征在于,所述监测数据分析网络包括所述第一传感监测样本数据集中各个海洋环境传感监测样本数据所对应的海洋环境区域的第一分团簇置信度,以及所述第二传感监测样本数据集中各个海洋环境样本增广数据所对应的关联环境区域的第二分团簇置信度;所述依据所述每个目标海洋环境样本增广数据的环境监测质量知识向量和所述每个目标海洋环境样本增广数据的先验训练标注,确定所述监测数据分析网络的第三网络调试误差,包括:

6.根据权利要求2或4所述的方法,其特征在于,所述依据所述每个海洋环境传感监测样本数据的环境监测质量知识向量和所述每个海洋环境传感监测样本数据的先验训练标注,确定所述监测数据分析网络的第一网络调试误差,包括:

7.根据权利要求3所述的方法,其特征在于,所述最少一个目标环境传感监测样本数据包括最少一个目标海洋环境传感监测样本数据,或者最少一个目标海洋环境样本增广数据,或者最少一个目标海洋环境传感监测样本数据和最少一个目标海洋环境样本增广数据;所述通过所述监测数据分析网络,分别对所述最少一个目标环境传感监测样本数据中的每个目标海洋环境样本增广数据进行知识向量挖掘,得到所述每个目标海洋环境样本增广数据的环境监测质量知识向量,包括:

8.根据权利要求1-5或7中任一项所述的方法,其特征在于,所述监测数据分析网络包括知识向量挖掘分支,所述知识向量挖掘分支用于对各个海洋环境传感监测数据进行知识向量挖掘;所述基于收敛所述目标网络调试误差的规则,改进所述监测数据分析网络中的网络配置变量,以获得数据质量检测网络,包括:

9.根据权利要求1-5或7中任一项所述的方法,其特征在于,所述方法还包括:

10.一种数据质量检测系统,其特征在于,包括:存储器,用于存储程序指令和数据;处理器,用于与存储器耦合,执行所述存储器中的指令,以实现如权利要求1-9任一项所述的方法。


技术总结
本申请实施例涉及数据处理技术领域,具体涉及应用深度学习的数据质量检测方法及系统,通过自动化的数据处理和分析流程,能够高效地处理大规模的海洋环境监测数据,并准确地检测出数据中的质量问题。通过构建专门的监测数据分析网络对原始的海洋环境传感监测样本数据和增广数据进行深度的知识向量挖掘,从而提炼出反映环境质量的关键特征,不仅提高了数据处理的效率,还增强了数据分析的全面性和可靠性。且通过精确地确定监测数据分析网络的目标网络调试误差,为后续的网络优化提供了坚实的基础。通过改进网络配置变量使得数据质量检测网络在实际应用中能够快速识别和剔除低质量数据,从而极大地提高了海洋环境监测数据的可信度和有效性。

技术研发人员:康小兵,翁斌斌,高松涛
受保护的技术使用者:平潭综合实验区行政服务中心(平潭综合实验区公证处、平潭综合实验区社会治安综合治理中心)
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-22186.html