本技术涉及任务处理，更具体地，涉及一种自动化任务处理方法和装置。
背景技术：
1、在现代企业级应用和数据处理领域，自动化任务处理和资源调度面临着显著的挑战。随着企业的业务和数据量迅速增长，任务的复杂性和数量也随之急剧上升，涉及数据处理、分析、报告生成、系统维护及其他多种后台服务。为了应对这些挑战，当前解决方案包括使用分布式计算框架如apache hadoop和apache spark，以及任务调度系统如apacheairflow和kubernetes。这些系统能够在多台机器上分布式地执行任务，旨在确保数据的完整性和任务的有效并行处理。
2、尽管这些现有技术提供了一定程度的自动化和效率，它们仍然面临着配置复杂性、资源分配不足以及缺乏灵活性等问题，尤其是在动态变化的业务环境中。此外，现有系统往往需要专业的技术知识来有效管理，这对于许多企业来说可能是一个障碍。因此，存在着对更加智能、自适应且易于管理的自动化任务处理和资源调度方案的需求，以更好地满足现代企业在快速变化的市场环境中的需求。
技术实现思路
1、本发明提供一种自动化任务处理方法和装置，用以解决现有技术中任务处理自动化缺乏灵活性，导致任务自动化处理效率低的技术问题，所述方法包括：
2、接收每个用户上传的待处理任务，并基于所述待处理任务生成多个任务队列；
3、确定所述待处理任务的预估资源占用信息，并基于所述预估资源占用信息对当前的节点集群进行调节，得到目标节点集群；
4、将所述任务队列中的待处理任务按照预定顺序派发到所述目标节点集群中的各节点中；
5、在所述各节点对所述待处理任务处理完成后，向用户返回任务处理结果。
6、在其中一些具体实施例中，所述接收每个用户上传的待处理任务，并基于所述待处理任务生成多个任务队列，具体为：
7、响应于用户发送的任务指令，通过api端口将所述待处理任务发送到协调管理器；
8、基于所述待处理任务，通过所述协调管理器生成所述多个任务队列。
9、在其中一些具体实施例中，确定所述待处理任务的预估资源占用信息，并基于所述预估资源占用信息对当前的节点集群进行调节，得到目标节点集群，具体为：
10、确定每一个任务队列对应的子预估资源占用信息，并对每一个所述子预估资源占用信息进行加和计算，得到所述待处理任务的预估资源占用信息；
11、将所述预估资源占用信息与所述当前的节点集群的可利用资源信息进行对比，得到资源对比结果；
12、基于所述资源对比结果对所述当前的节点集群进行调节，得到目标节点集群。
13、在其中一些具体实施例中，所述将所述预估资源占用信息与所述当前的节点集群的可利用资源信息进行对比，得到资源对比结果，具体为：
14、按照预定采集频率获取所述当前的节点集群上传的节点信息，所述节点信息包括管理进程数、节点cpu使用率、节点内存使用率、节点网络数据使用量；
15、基于所述节点信息确定所述当前的节点集群的可利用资源信息；
16、基于第一预设公式将所述预估资源占用信息与所述当前的节点集群的可利用资源信息进行对比，得到资源预估差值，并将所述资源预估差值作为所述资源对比结果；
17、其中，所述第一预设公式为：
18、rrestotal＝∑rnoderesunused-∑rtaskresrequired；
19、其中，∑rnoderesunused为当前的节点集群的可利用资源信息，∑rtaskresrequired为所述预估资源占用信息，rrestotal为所述资源预估差值。
20、在其中一些具体实施例中，所述基于所述资源对比结果对所述当前的节点集群进行调节，得到目标节点集群，具体为：
21、当所述资源预估差值超过第一预设值时，所述当前的节点集群处于资源过剩状态，并将所述当前的节点集群中负载利用率低于预设利用率的节点回收，得到所述目标节点集群；
22、当所述资源预估差值低于第二预设值时，所述当前的节点集群处于资源不足状态，基于第二预设公式确定待添加节点数，并为所述当前的节点集群添加所述待添加节点数的节点，得到所述目标节点集群；
23、其中，所述第二预设公式为：
24、
25、其中，n为所述待添加节点数，nnodelimit为最大节点数量限制，rnodeunit指当前节点类型分组数量。
26、在其中一些具体实施例中，所述将所述任务队列中的待处理任务按照预定顺序派发到所述目标节点集群中的各节点中，具体为：
27、通过所述协调管理器按照任务上传时间的先后顺序对所述任务序列进行排序；
28、按照所述目标节点集群中每个节点的负载利用率从低到高进行排序；
29、通过所述协调管理器将所述任务序列中的任务按照所述先后顺序向所述目标节点集群进行分配，并通过所述协调管理器将所述任务序列中的任务按照所述每个节点的负载利用率从高到低分配到每个节点中。
30、在其中一些具体实施例中，在通过所述协调管理器将所述任务序列中的任务按照所述每个节点的负载利用率从高到低分配到每个节点中之前，还包括：
31、通过所述每个节点内的执行机器向所述协调管理器发送注册信息，并通过所述注册信息控制所述执行机器在所述协调管理器中注册成功；
32、按照预定发送频率对所述协调管理器与每个执行机器进行心跳检测，以确定所述协调管理器与所述每个执行机器之间的连接状态。
33、相应的，本发明还提出了一种自动化任务处理装置，所述装置包括：
34、接收模块，用于接收每个用户上传的待处理任务，并基于所述待处理任务生成多个任务队列；
35、节点调节模块，用于确定所述待处理任务的预估资源占用信息，并基于所述预估资源占用信息对当前的节点集群进行调节，得到目标节点集群；
36、任务派发模块，用于将所述任务队列中的待处理任务按照预定顺序派发到所述目标节点集群中的各节点中；
37、结果反馈模块，用于在所述各节点对所述待处理任务处理完成后，向用户返回任务处理结果。
38、相应的，本发明还提出了一种计算设备，包括：
39、存储器和处理器；
40、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现如上任意一项所述自动化任务处理方法的步骤。
41、相应的，本发明还提出了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现如上任意一项所述自动化任务处理方法的步骤。
42、通过应用以上技术方案，提出一种自动化任务处理方法，所述方法包括：接收每个用户上传的待处理任务，并基于所述待处理任务生成多个任务队列；确定所述待处理任务的预估资源占用信息，并基于所述预估资源占用信息对当前的节点集群进行调节，得到目标节点集群；将所述任务队列中的待处理任务按照预定顺序派发到所述目标节点集群中的各节点中；在所述各节点对所述待处理任务处理完成后，向用户返回任务处理结果，根据待处理任务对节点集群进行动态调整，并将待处理任务动态分配到节点集群，实现任务处理的全自动化，提高任务自动化处理效率。
1.一种自动化任务处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述接收每个用户上传的待处理任务，并基于所述待处理任务生成多个任务队列，具体为：
3.根据权利要求2所述的方法，其特征在于，确定所述待处理任务的预估资源占用信息，并基于所述预估资源占用信息对当前的节点集群进行调节，得到目标节点集群，具体为：
4.根据权利要求3所述的方法，其特征在于，所述将所述预估资源占用信息与所述当前的节点集群的可利用资源信息进行对比，得到资源对比结果，具体为：
5.根据权利要求4所述的方法，其特征在于，所述基于所述资源对比结果对所述当前的节点集群进行调节，得到目标节点集群，具体为：
6.根据权利要求2所述的方法，其特征在于，所述将所述任务队列中的待处理任务按照预定顺序派发到所述目标节点集群中的各节点中，具体为：
7.根据权利要求1所述的方法，其特征在于，在通过所述协调管理器将所述任务序列中的任务按照所述每个节点的负载利用率从高到低分配到每个节点中之前，还包括：
8.一种自动化任务处理装置，其特征在于，所述装置包括：
9.一种计算设备，其特征在于，包括：
10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述自动化任务处理方法的步骤。
