一种任务调度方法、装置、存储介质及处理器与流程

专利2025-12-25  20


本技术涉及任务调度,特别是涉及一种任务调度方法、装置、存储介质及处理器。


背景技术:

1、数据沙箱(data sandbox)是一种数据管理工具,其提供了一个用于安全地探索和分析数据的隔离的环境。数据沙箱通常包含一份数据的副本,这样用户就可以自由地进行实验,而不会影响到生产环境的数据。集群(cluster)是一组通过快速网络互联的服务器,它们协同工作以完成特定的任务。在数据沙箱环境中,集群可以提供更高的处理能力和存储容量,以支持大规模的数据分析和处理。集群中一般包含多个节点(node),每个节点可以是一个单独的计算机或服务器。集群中,每个节点都有自己的处理器、内存和存储设备,可以独立运行任务。在数据沙箱集群中,节点可以被分类为不同的角色,以满足不同的需求。

2、云计算、大数据和人工智能等技术的快速发展的影响下,企业往往需要同时处理多种类型的任务。以数据处理为例,这些任务可以分类如:数据预测、数据分析、数据建模、数据查询等。这些不同类型的任务往往对计算资源、存储资源和网络带宽等资源维度有着不同的需求。在数据沙箱内运行任务,意味着需要对任务进行资源配置,并将任务调度到节点。当前有多种资源分配与任务调度策略,如基于优先级的调度策略、基于资源需求的调度策略、基于预测模型的调度策略等。现有方案将任务分配到各个节点时采用上述的常用调度策略,但这类策略往往不能满足多种类型任务和节点的调度需求,从而影响数据沙箱的任务运行效率。


技术实现思路

1、基于上述问题,本技术提供了一种任务调度方法、装置、存储介质及处理器,目的是满足多种类型任务和节点的调度需求,提升数据沙箱的任务运行效率。

2、本技术实施例公开了如下技术方案:

3、第一方面,本技术提供了一种任务调度方法,包括:

4、基于目标任务与历史任务的相似度,以及所述历史任务的任务资源配置信息,生成所述目标任务的任务资源配置信息;

5、从集群中确定所述目标任务对应的待匹配节点集合;所述待匹配节点集合包括多个待匹配节点;

6、根据所述待匹配节点的资源信息和所述目标任务的任务资源配置信息,获得所述待匹配节点运行所述目标任务前后的资源变化率;

7、根据所述待匹配节点运行所述目标任务前后的资源变化率,以及所述待匹配节点对应于目标类型的任务类型特征数据,获得所述待匹配节点运行所述目标任务的预测分值;所述目标类型为所述目标任务的任务类型;

8、基于所述多个待匹配节点各自运行所述目标任务的预测分值,从所述多个待匹配节点中确定目标节点;

9、将所述目标任务调度至所述目标节点。

10、可选地,如上所述的方法,所述基于目标任务与历史任务的相似度,以及所述历史任务的任务资源配置信息,生成所述目标任务的任务资源配置信息,包括:

11、基于与目标任务的相似度,从多个历史任务中确定出多个预选任务;所述预选任务为与目标任务的相似度高于相似度阈值的历史任务;

12、基于所述多个预选任务各自的运行时间、资源占用以及任务资源配置信息中的至少一种,从所述多个预选任务中确定一个参照任务;

13、以所述参照任务的任务资源配置信息生成所述目标任务的任务资源配置信息。

14、可选地,如上所述的方法,基于所述多个预选任务各自的运行时间,从所述多个预选任务中确定一个参照任务,包括:

15、将所述多个预选任务中运行时间最短的一个任务作为参照任务;

16、基于所述多个预选任务各自的资源占用,从所述多个预选任务中确定一个参照任务,包括:

17、将所述多个预选任务中资源占用最少的一个任务作为参照任务;

18、基于所述多个预选任务各自的任务资源配置信息,从所述多个预选任务中确定一个参照任务,包括:

19、根据所述多个预选任务各自的任务资源配置信息,确定出重合率最高的一组任务资源配置信息,将所述重合率最高的一组任务资源配置信息对应的任一预选任务作为参照任务。

20、可选地,如上所述的方法,目标任务与历史任务的相似度的获取方式为:

21、获取所述目标任务的任务比较参照特征集合和所述历史任务的任务比较参照特征集合;其中,所述目标任务的任务比较参照特征集合包括所述目标任务的数据特征、所述目标任务的任务预运行特征和所述目标任务在任务预运行时间段内的多个资源维度的特征;所述历史任务的任务比较参照特征集合包括所述历史任务的数据特征、所述历史任务的任务运行特征和所述历史任务在任务运行时间段内的多个资源维度的特征;

22、基于所述目标任务的任务比较参照特征集合和所述历史任务的任务比较参照特征集合之间相应元素的差异,获得所述目标任务与所述历史任务之间的相似度指标值;所述相似度指标值与相似度呈负相关。

23、可选地,如上所述的方法,所述任务类型特征数据包括与所述多个资源维度一一对应的多个资源相关性权重;所述根据所述待匹配节点运行所述目标任务前后的资源变化率,以及所述待匹配节点对应于目标类型的任务类型特征数据,获得所述待匹配节点运行所述目标任务的预测分值,包括:

24、根据所述待匹配节点的资源占用指标数据和所述待匹配节点运行所述目标任务前后的资源变化率,计算得到所述待匹配节点的资源负载变化率;所述资源占用指标数据,是根据集群在多个资源维度的特征和所述集群中所述待匹配节点在所述多个资源维度的特征计算得到的;所述资源占用指标数据包括与所述多个资源维度一一对应的多个资源占用权重;

25、针对所述待匹配节点对应于目标类型的任务类型特征数据,进行归一化处理,得到归一化后的任务类型特征数据;

26、根据所述资源占用指标数据和所述归一化后的任务类型特征数据,计算得到所述待匹配节点对应于目标类型的任务类型特征匹配度;

27、根据所述资源负载变化率和所述任务类型特征匹配度,计算得到所述待匹配节点运行所述目标任务的预测分值。

28、可选地,如上所述的方法,所述基于所述多个待匹配节点各自运行所述目标任务的预测分值,从所述多个待匹配节点中确定目标节点,包括:

29、从所述多个待匹配节点中确定出运行所述目标任务的预测分值最高的节点,作为目标节点。

30、可选地,如上所述的方法,所述待匹配节点的资源信息包括所述待匹配节点在多个资源维度分别对应的资源总量,以及所述待匹配节点在所述多个资源维度的资源已占用量;所述目标任务的任务资源配置信息包括所述多个资源维度的资源配置值;

31、所述根据所述待匹配节点的资源信息和所述目标任务的任务资源配置信息,获得所述待匹配节点运行所述目标任务前后的资源变化率,包括:

32、按照资源维度对所述待匹配节点的资源信息中的资源已占用量和资源总量进行除法运算,得到所述待匹配节点运行所述目标任务前所述多个资源维度分别对应的资源占用率;

33、按照资源维度对所述待匹配节点的资源信息中的资源已占用量和所述目标任务的任务资源配置信息中的资源配置值求和,并将和值与所述待匹配节点的资源信息中相应资源维度的资源总量进行除法运算,得到所述待匹配节点运行所述目标任务后所述多个资源维度分别对应的资源占用率;

34、对所述待匹配节点运行所述目标任务后以及运行所述目标任务前各资源维度的资源占用率的差值,与运行所述目标任务前相应资源维度的资源占用率相除,得到所述待匹配节点运行所述目标任务前后所述多个资源维度分别对应的资源变化率。

35、可选地,如上所述的方法,所述从集群中确定所述目标任务对应的待匹配节点集合,包括:

36、从集群中确定节点类型与所述目标类型匹配的节点,将节点类型与所述目标类型匹配的节点添加到所述目标任务对应的待匹配节点集合中。

37、可选地,如上所述的方法,所述集群中节点的分类方式包括:

38、根据所述集群在多个资源维度的特征和所述集群中目标待分类节点在所述多个资源维度的特征,获取所述目标待分类节点的资源占用指标数据;所述资源占用指标数据包括与所述多个资源维度一一对应的多个资源占用权重;

39、根据所述目标待分类节点面向于多种任务类型的任务运行数据,获取所述目标待分类节点的多组任务类型特征数据;所述多组任务类型特征数据与所述多种任务类型一一对应,每一组任务类型特征数据包括与所述多个资源维度一一对应的多个资源相关性权重;

40、将所述资源占用指标数据中各资源维度对应的资源占用权重与每一组任务类型特征数据中各资源维度对应的资源相关性权重,按照相同资源维度运算处理,获得所述目标待分类节点与所述多种任务类型的适配度;

41、根据所述目标待分类节点与所述多种任务类型的适配度的数值大小,配置所述目标待分类节点的节点类别。

42、可选地,如上所述的方法,所述集群包括区块链网络中多种不同身份的节点;所述多种不同身份的节点至少包括:发起方节点和参与方节点;所述发起方节点与所述参与方节点就相同的任务达成共识。

43、第二方面,本技术提供了一种任务调度装置,包括:

44、资源配置生成模块,用于基于目标任务与历史任务的相似度,以及所述历史任务的任务资源配置信息,生成所述目标任务的任务资源配置信息;

45、第一节点确定模块,用于从集群中确定所述目标任务对应的待匹配节点集合;所述待匹配节点集合包括多个待匹配节点;

46、资源变化计算模块,用于根据所述待匹配节点的资源信息和所述目标任务的任务资源配置信息,获得所述待匹配节点运行所述目标任务前后的资源变化率;

47、节点预测模块,用于根据所述待匹配节点运行所述目标任务前后的资源变化率,以及所述待匹配节点对应于目标类型的任务类型特征数据,获得所述待匹配节点运行所述目标任务的预测分值;所述目标类型为所述目标任务的任务类型;

48、第二节点确定模块,用于基于所述多个待匹配节点各自运行所述目标任务的预测分值,从所述多个待匹配节点中确定目标节点;

49、调度模块,用于将所述目标任务调度至所述目标节点。

50、第三方面,本技术提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述实施例中任一所述的任务调度方法。

51、第四方面,本技术提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述实施例中任一所述的任务调度方法。

52、本技术的方法通过基于目标任务与历史任务的相似度,以及历史任务的任务资源配置信息,生成目标任务的任务资源配置信息,以实现为目标任务匹配最适合的任务资源配置信息。再从集群中确定目标任务对应的待匹配节点集合;根据待匹配节点的资源信息和目标任务的任务资源配置信息,获得待匹配节点运行目标任务前后的资源变化率;根据待匹配节点运行目标任务前后的资源变化率与待匹配节点中目标类型的任务类型特征数据,获得待匹配节点运行目标任务的预测分值,进而评估了待匹配节点与目标任务之间的适应性,以提高目标节点选择的准确性。再基于多个待匹配节点各自运行目标任务的预测分值,从待匹配节点中确定目标节点;将目标任务调度至目标节点,以确保目标任务可以被调度至最适合执行目标任务的节点。本技术的方法满足多种类型任务和节点的调度需求,提升了数据沙箱的任务运行效率。


技术特征:

1.一种任务调度方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于目标任务与历史任务的相似度,以及所述历史任务的任务资源配置信息,生成所述目标任务的任务资源配置信息,包括:

3.根据权利要求2所述的方法,其特征在于,

4.根据权利要求1-3中任一项所述的方法,其特征在于,目标任务与历史任务的相似度的获取方式为:

5.根据权利要求1所述的方法,其特征在于,所述任务类型特征数据包括与所述多个资源维度一一对应的多个资源相关性权重;所述根据所述待匹配节点运行所述目标任务前后的资源变化率,以及所述待匹配节点对应于目标类型的任务类型特征数据,获得所述待匹配节点运行所述目标任务的预测分值,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述多个待匹配节点各自运行所述目标任务的预测分值,从所述多个待匹配节点中确定目标节点,包括:

7.根据权利要求1所述的方法,其特征在于,所述待匹配节点的资源信息包括所述待匹配节点在多个资源维度分别对应的资源总量,以及所述待匹配节点在所述多个资源维度的资源已占用量;所述目标任务的任务资源配置信息包括所述多个资源维度的资源配置值;

8.根据权利要求1所述的方法,其特征在于,所述从集群中确定所述目标任务对应的待匹配节点集合,包括:

9.根据权利要求8所述的方法,其特征在于,所述集群中节点的分类方式包括:

10.根据权利要求1所述的方法,其特征在于,所述集群包括区块链网络中多种不同身份的节点;所述多种不同身份的节点至少包括:发起方节点和参与方节点;所述发起方节点与所述参与方节点就相同的任务达成共识。

11.一种任务调度装置,其特征在于,包括:

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至10任一项所述的方法。

13.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至10中任一项所述的方法。


技术总结
本申请公开了一种任务调度方法、装置、存储介质及处理器。该方法包括:基于目标任务与历史任务的相似度,以及历史任务的任务资源配置信息,生成目标任务的任务资源配置信息;从集群中确定目标任务对应的待匹配节点集合;根据待匹配节点的资源信息和目标任务的任务资源配置信息,获得待匹配节点运行目标任务前后的资源变化率;根据待匹配节点运行目标任务前后的资源变化率与待匹配节点中目标类型的任务类型特征数据,获得待匹配节点运行目标任务的预测分值;基于多个待匹配节点各自运行目标任务的预测分值,从待匹配节点中确定目标节点;将目标任务调度至目标节点。本申请的方法满足多种类型任务和节点的调度需求,提升了数据沙箱的任务运行效率。

技术研发人员:何光宇,牟童,徐石成
受保护的技术使用者:东软集团股份有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-28576.html