本发明涉及自然语言处理,尤其是涉及一种任务处理方法、装置、设备、存储介质及程序产品。
背景技术:
1、目前大语言模型更新迭代速度逐渐趋于缓和,其主要原因在于尺度定律scalinglaw,若要迅速扩展大语言模型的能力,可以通过多个专家集成的模式,即混合专家模型(mixture-of-experts,moe),将多个规模相当的大模型混合,在已有语料中,通过将知识分类,训练多个不同能力维度的大模型,通过moe的模式将其集成,但是这样一来,存在对于复杂任务的推理效率低的问题。
技术实现思路
1、本发明的目的在于提供一种任务处理方法、装置、设备、存储介质及程序产品,用以解决现有基于集成moe模式的大语言模型,对复杂任务的推理效率低的问题。
2、为了达到上述目的,第一方面,本发明实施例提供一种任务处理方法,包括:
3、获取目标第一类任务的第一指令,所述目标第一类任务包括多个具有逻辑关系的目标第二类任务,所述目标第一类任务的解决难度大于所述目标第二类任务的解决难度;
4、将所述目标第一类任务的第一指令输入至第一大语言模型,得到所述第一大语言模型的目标区块,其中,所述目标区块包括多个第一区块,不同的第一区块对应不同的目标第二类任务,所述第一区块包括所述第一大语言模型的至少一层;
5、通过多个所述第一区块间的协同处理,获得目标输出结果,所述目标输出结果包括:所述第一大语言模型的目标区块按照层序列输出的词元序列以及所述第一大语言模型的最后一层输出的词元。
6、在一些实施例中,所述方法还包括:
7、针对多个第一类任务的每个第一类任务,获取预设大语言模型的多个区块,所述多个区块对应一个所述第一类任务,所述第一类任务包括多个具有逻辑关系的第二类任务,不同的区块对应不同的第二类任务,所述第一类任务的解决难度大于所述第二类任务的解决难度;
8、基于每个第一类任务对应的多个区块,获取每个第一类任务的指令集合,所述第一类任务的指令集合中的指令包括所述第一类任务的推理信息;
9、基于所有第一类任务的指令集合,训练所述预设大语言模型,得到所述第一大语言模型。
10、在一些实施例中,所述针对多个第一类任务的每个第一类任务,获取预设大语言模型的多个区块,包括:
11、针对多个第一类任务的每个第一类任务,获取所述第一类任务中多个第二类任务的指令集合;
12、针对每个所述第二类任务的指令集合中的每个指令,将所述指令输入至所述预设大语言模型,得到所述预设大语言模型中每一层输出的词元token,并可视化显示;
13、基于可视化显示的token,获得所述预设大语言模型中与所述第二类任务相关的区块;
14、将获得的多个所述第二类任务对应的多个区块,确定为所述预设大语言模型中与所述第一类任务对应的多个区块。
15、在一些实施例中,所述获取所述第一类任务中多个第二类任务的指令集合,包括:
16、针对所述第一类任务中每个所述第二类任务,获取预先构建的第一种子指令,所述第一种子指令包括与所述第二类任务相关的第一预设文本、针对所述第一预设文本的第一预设指令以及针对所述第一预设指令的输出的格式;
17、学习所述第一种子指令,生成所述第二类任务的指令集合。
18、在一些实施例中,所述基于每个第一类任务对应的多个区块,获取每个第一类任务的指令集合,包括:
19、针对多个第一类任务的每个第一类任务,获取预先构建的第二种子指令,所述第二种子指令包括与所述第一类任务相关的第二预设文本、针对所述第二预设文本的第二预设指令、针对所述第二预设指令的输出格式以及所述第一类任务的推理信息,所述第一类任务的推理信息基于所述第一类任务对应的多个区块按照层序列输出的token确定;
20、学习所述第二种子指令,生成所述第一类任务的指令集合。
21、第二方面,本发明实施例还提供一种任务处理装置,包括:
22、第一获取模块,用于获取目标第一类任务的第一指令,所述目标第一类任务包括多个具有逻辑关系的目标第二类任务,所述目标第一类任务的解决难度大于所述目标第二类任务的解决难度;
23、第一处理模块,用于将所述目标第一类任务的第一指令输入至第一大语言模型,得到所述第一大语言模型的目标区块,其中,所述目标区块包括多个第一区块,不同的第一区块对应不同的目标第二类任务,所述第一区块包括所述第一大语言模型的至少一层;
24、第二处理模块,用于通过多个所述第一区块间的协同处理,获得目标输出结果,所述目标输出结果包括:所述第一大语言模型的目标区块按照层序列输出的词元序列以及所述第一大语言模型的最后一层输出的词元。
25、第三方面,本发明实施例还提供一种任务处理设备,包括处理器和收发器,所述收发器在处理器的控制下接收和发送数据,所述处理器用于执行以下操作:
26、获取目标第一类任务的第一指令,所述目标第一类任务包括多个具有逻辑关系的目标第二类任务,所述目标第一类任务的解决难度大于所述目标第二类任务的解决难度;
27、将所述目标第一类任务的第一指令输入至第一大语言模型,得到所述第一大语言模型的目标区块,其中,所述目标区块包括多个第一区块,不同的第一区块对应不同的目标第二类任务,所述第一区块包括所述第一大语言模型的至少一层;
28、通过多个所述第一区块间的协同处理,获得目标输出结果,所述目标输出结果包括:所述第一大语言模型的目标区块按照层序列输出的词元序列以及所述第一大语言模型的最后一层输出的词元。
29、第四方面,本发明实施例还提供一种任务设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器执行所述程序时实现如上述第一方面所述的任务处理方法。
30、第五方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的任务处理方法中的步骤。
31、第六方面,本发明实施例还提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如上述第一方面所述的任务处理方法中的步骤。
32、本发明的上述技术方案至少具有如下有益效果:
33、本发明实施例中,通过获取目标第一类任务的第一指令,所述目标第一类任务包括多个具有逻辑关系的目标第二类任务,所述目标第一类任务的解决难度大于目标第二类任务的解决难度;之后,将目标第一类任务的第一指令输入至第一大语言模型,得到所述第一大语言模型的目标区块,其中,该目标区块包括多个第一区块,不同的第一区块对应不同的目标第二类任务,第一区块包括第一大语言模型的至少一层;最后,通过多个第一区块间的协同处理,获得目标输出结果,所述目标输出结果包括:第一大语言模型的目标区块按照层序列输出的词元序列以及第一大语言模型的最后一层输出的词元,这样,利用大语言模型中与复杂任务(即目标第一类任务)对应的多个区块,对复杂任务进行不同角度处理,并将不同区块的处理结果垂直集成到高位层的决策层,以做出最优的推理决策,提升大语言模型在复杂任务上的推理效率以及解决问题的能力。
1.一种任务处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述针对多个第一类任务的每个第一类任务,获取预设大语言模型的多个区块,包括:
4.根据权利要求3所述的方法,其特征在于,所述获取所述第一类任务中多个第二类任务的指令集合,包括:
5.根据权利要求2所述的方法,其特征在于,所述基于每个第一类任务对应的多个区块,获取每个第一类任务的指令集合,包括:
6.一种任务处理装置,其特征在于,包括:
7.一种任务处理设备,包括处理器和收发器,所述收发器在处理器的控制下接收和发送数据,其特征在于,所述处理器用于执行以下操作:
8.一种任务设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述的任务处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5任一项所述的任务处理方法中的步骤。
10.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至5任一项所述的任务处理方法中的步骤。
