一种指令微调数据生成方法、装置、设备及介质与流程

专利2025-12-26  17


本发明涉及自然语言处理,特别涉及一种指令微调数据生成方法、装置、设备及介质。


背景技术:

1、指令微调(instruction fine-tuning,ift)是新近语言大模型的代表能力,它可以帮助人类用自然语言对大模型下达命令,进行沟通交流。这使得人与机器之间能够更加便捷的交互。为了进行指令微调,必然离不开数据集的搜集或构建,现有相关nl2sql(natural language to sql,一种语言转换技术)数据集缺乏落地场景等适应性:在无关拒答、无权拒答、字段鉴权、中文别名等方面无能为力。

2、由上可见,如何获取大量高质量针对落地场景的指令微调数据是亟待解决的目标问题。


技术实现思路

1、有鉴于此,本发明的目的在于提供一种指令微调数据生成方法、装置、设备及介质,能够获取大量高质量针对落地场景的指令微调数据。其具体方案如下:

2、第一方面,本技术提供了一种指令微调数据生成方法,包括:

3、创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题;

4、生成与所述若干目标问题对应的数据库数据,并根据所述若干目标问题与所述数据库数据生成所述当前预设垂直领域相应的指令微调数据;

5、将下一预设垂直领域作为当前预设垂直领域,并跳转至所述创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题的步骤,以生成与下一预设垂直领域对应的指令微调数据,直至生成与所有预设垂直领域相应的若干指令微调数据;

6、计算所述若干指令微调数据相应的若干指令跟随难度值,并基于所述若干指令跟随难度值从所述若干指令微调数据中提取若干目标指令微调数据;

7、基于预设问题类型比例调整所述若干目标指令微调数据的数据类型比例,以得到调整后目标指令微调数据。

8、可选的,所述创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题,包括:

9、创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与第一类预设条件对应的若干第一类目标问题和/或与第二类预设条件对应的若干第二类目标问题;所述第一类预设条件为与所述当前预设垂直领域无关的预设条件;所述第二类预设条件为与所述当前预设垂直领域相关的预设条件。

10、可选的,所述创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题,包括:

11、创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成若干条件控制语句,以确定控制权限;

12、基于所述控制权限以及所述当前预设垂直领域生成与第三类预设条件对应的若干第三类目标问题和/或与第四类预设条件对应的若干第四类目标问题,和/或与第五类预设条件对应的若干第五类目标问题;所述第三类预设条件为与所述当前预设垂直领域相关且与控制权限不匹配的预设条件;所述第四类预设条件为与所述当前预设垂直领域无关且与控制权限匹配的预设条件;所述第五类预设条件为与所述当前预设垂直领域相关且与控制权限匹配的预设条件。

13、可选的,所述生成与所述若干目标问题对应的数据库数据,并根据所述若干目标问题与所述数据库数据生成所述当前预设垂直领域相应的指令微调数据,包括:

14、基于所述目标建表语句生成与所述若干第二类目标问题以及若干所述第五类目标问题对应的数据库数据,并根据所有所述目标问题与所述数据库数据生成所述预设垂直领域相应的指令微调数据。

15、可选的,所述计算所述若干指令微调数据相应的若干指令跟随难度值,并基于所述若干指令跟随难度值从所述若干指令微调数据中提取若干目标指令微调数据,包括:

16、通过预设指令跟随难度计算公式计算所述若干指令微调数据相应的若干指令跟随难度值;

17、判断所述若干指令微调数据中当前指令微调数据对应的当前指令跟随难度值是否大于预设指令跟随难度值阈值;

18、若所述当前指令跟随难度值大于预设指令跟随难度值阈值,则将当前所述指令微调数据确定为所述目标指令微调数据;

19、若所述当前指令微调数据对应的指令跟随难度值不大于预设指令跟随难度值阈值,则将下一指令微调数据作为当前指令微调数据,并跳转至所述判断所述若干指令微调数据中当前指令微调数据对应的当前指令跟随难度值是否大于预设指令跟随难度值阈值的步骤,以判断下一指令微调数据对应的指令跟随难度值是否大于所述预设指令跟随难度值阈值。

20、可选的,所述基于预设问题类型比例调整所述若干目标指令微调数据的数据类型比例,以得到调整后目标指令微调数据之前,还包括:

21、通过预设目标问题扩展指令对所述目标问题的数量进行扩展。

22、可选的,所述基于预设问题类型比例调整所述若干目标指令微调数据的数据类型比例,以得到调整后目标指令微调数据,包括:

23、基于预设问题类型比例调整与所述若干目标指令微调数据对应的目标问题类型比例,得到调整后目标问题类型比例;

24、基于所述调整后目标问题类型比例对所述若干目标指令微调数据的数据类型比例进行调整,以得到调整后目标指令微调数据。

25、第二方面,本技术提供了一种指令微调数据生成装置,包括:

26、目标问题生成模块,用于创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题;

27、指令微调数据生成模块,用于生成与所述若干目标问题对应的数据库数据,并根据所述若干目标问题与所述数据库数据生成所述当前预设垂直领域相应的指令微调数据;

28、垂直领域切换模块,用于将下一预设垂直领域作为当前预设垂直领域,并跳转至所述创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题的步骤,以生成与下一预设垂直领域对应的指令微调数据,直至生成与所有预设垂直领域相应的若干指令微调数据;

29、目标指令微调数据确定模块,用于计算所述若干指令微调数据相应的若干指令跟随难度值,并基于所述若干指令跟随难度值从所述若干指令微调数据中提取若干目标指令微调数据;

30、目标指令微调数据调整模块,用于基于预设问题类型比例调整所述若干目标指令微调数据的数据类型比例,以得到调整后目标指令微调数据。

31、第三方面,本技术提供了一种电子设备,包括:

32、存储器,用于保存计算机程序;

33、处理器,用于执行所述计算机程序,以实现前述的指令微调数据生成方法。

34、第四方面,本技术提供了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现前述的指令微调数据生成方法。

35、本技术通过创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题;生成与所述若干目标问题对应的数据库数据,并根据所述若干目标问题与所述数据库数据生成所述当前预设垂直领域相应的指令微调数据;将下一预设垂直领域作为当前预设垂直领域,并跳转至所述创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题的步骤,以生成与下一预设垂直领域对应的指令微调数据,直至生成与所有预设垂直领域相应的若干指令微调数据;计算所述若干指令微调数据相应的若干指令跟随难度值,并基于所述若干指令跟随难度值从所述若干指令微调数据中提取若干目标指令微调数据;基于预设问题类型比例调整所述若干目标指令微调数据的数据类型比例,以得到调整后目标指令微调数据。

36、由上可见,本技术通过创建目标建表语句,生成针对不同应用场景的目标问题,并基于所述目标问题确定相应的指令微调数据,最后通过计算指令跟随难度值筛选符合条件的目标指令微调数据,能够获取大量高质量针对落地场景的指令微调数据,提高数据库模型体验与响应速度,同时也降低了多模型部署的需要,降低了落地成本。


技术特征:

1.一种指令微调数据生成方法,其特征在于,包括:

2.根据权利要求1所述的指令微调数据生成方法,其特征在于,所述创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题,包括:

3.根据权利要求2所述的指令微调数据生成方法,其特征在于,所述创建与当前预设垂直领域相应的目标建表语句,并根据所述目标建表语句生成与若干预设条件对应的若干目标问题,包括:

4.根据权利要求3所述的指令微调数据生成方法,其特征在于,所述生成与所述若干目标问题对应的数据库数据,并根据所述若干目标问题与所述数据库数据生成所述当前预设垂直领域相应的指令微调数据,包括:

5.根据权利要求1所述的指令微调数据生成方法,其特征在于,所述计算所述若干指令微调数据相应的若干指令跟随难度值,并基于所述若干指令跟随难度值从所述若干指令微调数据中提取若干目标指令微调数据,包括:

6.根据权利要求1所述的指令微调数据生成方法,其特征在于,所述基于预设问题类型比例调整所述若干目标指令微调数据的数据类型比例,以得到调整后目标指令微调数据之前,还包括:

7.根据权利要求1至6任一项所述的指令微调数据生成方法,其特征在于,所述基于预设问题类型比例调整所述若干目标指令微调数据的数据类型比例,以得到调整后目标指令微调数据,包括:

8.一种指令微调数据生成装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的指令微调数据生成方法。


技术总结
本申请公开了一种指令微调数据生成方法、装置、设备及介质,涉及自然语言处理技术领域,包括:创建与预设垂直领域相应的目标建表语句,并根据目标建表语句生成与若干预设条件对应的若干目标问题;生成与若干目标问题对应的数据库数据,并根据若干目标问题与数据库数据生成预设垂直领域相应的指令微调数据;循环以上步骤,直至生成与所有预设垂直领域相应的若干指令微调数据;计算若干指令微调数据相应的若干指令跟随难度值,并基于若干指令跟随难度值确定若干目标指令微调数据;基于预设问题类型比例调整若干目标指令微调数据的数据类型比例,以得到调整后目标指令微调数据。这样一来,能够获取大量高质量针对落地场景的指令微调数据。

技术研发人员:李健,孙思清,周庆勇
受保护的技术使用者:浪潮云信息技术股份公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-28609.html