本发明涉及数据处理,具体涉及一种自动监控数据采集进度的方法。
背景技术:
1、在大数据处理和传输过程中,数据采集是确保数据完整性和准确性的关键步骤。随着物联网(iot)、边缘计算和云计算的广泛应用,数据采集任务变得越来越复杂,涉及多个采集节点的协调工作和大量数据包的实时传输与处理。然而,传统的数据采集方法在面对动态变化的网络环境时,往往难以实时监控数据采集进度,导致数据包传输延迟、不均衡的带宽分配,甚至数据丢失等问题,这极大地影响了数据采集任务的效率和系统整体性能。
技术实现思路
1、本申请提供了一种自动监控数据采集进度的方法,用于解决现有技术中传统数据采集方法在动态网络环境下缺乏灵活性和负载管理能力,影响数据采集效率和稳定性的技术问题。
2、本申请提供了一种自动监控数据采集进度的方法,所述方法包括:在数据采集任务开始前,建立数据包的唯一标识符,并为数据包分配时间戳,创建数据包的任务优先级;创建任务进度列表,所述任务进度列表通过唯一标识符显示各个数据包的实时任务进度,所述任务进度列表响应于任务实时监听结果;基于时间戳对任务进度列表内各个数据包的采集进度进行实时评价,建立独立数据包评价结果;根据时间戳进行数据包的联合应用评价,建立联合应用评价结果,利用联合应用评价结果进行任务进度列表内数据包的采集进度联合评价,建立联合数据包评价结果;利用独立数据包评价结果、联合数据包评价结果定位进度优化数据包,并基于时空感知网络和负载均衡网络进行进度优化数据包的采集优化管理。
3、本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
4、本申请提供的一种自动监控数据采集进度的方法,涉及数据处理技术领域,通过在数据采集任务前为数据包创建唯一标识符、时间戳和任务优先级,建立任务进度列表实时监控进度,通过时间戳进行独立与联合评价,并基于评价结果定位需优化的数据包,利用时空感知和负载均衡网络动态调整采集策略,优化传输路径与节点负载,解决了现有技术中传统数据采集方法在动态网络环境下缺乏灵活性和负载管理能力,影响数据采集效率和稳定性的技术问题,实现了通过对数据采集过程的动态调整和优化管理,提升数据采集过程的稳定性与高效性的技术效果。
1.一种自动监控数据采集进度的方法,其特征在于,所述方法包括:
2.如权利要求1所述的一种自动监控数据采集进度的方法,其特征在于,所述根据时间戳进行数据包的联合应用评价,建立联合应用评价结果,还包括:
3.如权利要求2所述的一种自动监控数据采集进度的方法,其特征在于,所述利用联合应用评价结果进行任务进度列表内数据包的采集进度联合评价,建立联合数据包评价结果,还包括:
4.如权利要求3所述的一种自动监控数据采集进度的方法,其特征在于,所述基于时空感知网络和负载均衡网络进行进度优化数据包的采集优化管理,还包括:
5.如权利要求4所述的一种自动监控数据采集进度的方法,其特征在于,所述基于第一寻优结果进行采集优化管理,还包括:
6.如权利要求5所述的一种自动监控数据采集进度的方法,其特征在于,所述方法还包括:
7.如权利要求1所述的一种自动监控数据采集进度的方法,其特征在于,所述方法还包括:
8.如权利要求7所述的一种自动监控数据采集进度的方法,其特征在于,所述计算各个数据包的综合平衡得分如下:
