本技术涉及自然语言处理领域，具体而言，涉及一种文本嵌入训练方法、程序指令及相关装置。
背景技术：
1、随着业务不断发展，特定业务领域文件的完善，企业累计的相关文件数量日益增多，沉淀的业务知识领域也变得越来越复杂。如今，需要对特定业务领域知识做自然语言相关的处理与理解时，如信息检索，知识问答，文本匹配，文本分类等，都需要对文本进行编码，即文本嵌入操作。
2、实践过程中发现，传统的和通用领域的文本嵌入模型对特定业务领域文件进行嵌入操作时，存在效率低下、容易出错以及难以泛化等问题。
技术实现思路
1、为了克服现有技术中的至少一个不足，本技术提供一种文本嵌入训练方法、程序指令及相关装置，具体包括：
2、第一方面，本技术提供一种文本嵌入训练方法，所述方法包括：
3、获取预训练模型，其中，所述预训练模型通过目标领域的预训练文本对待训练模型进行预训练得到；
4、从微调数据集中选取文本对，其中，所述微调数据集源自于所述目标领域；
5、通过所述文本对与微调指令对所述预训练模型进行微调，其中，所述微调指令用于指示所述预训练模型判断所述文本对的语义是否相似；
6、若微调后的预训练模型不满足预设收敛条件，则返回至所述从微调数据集中选取文本对，直至满足所述预设收敛条件后，得到文本嵌入模型。
7、结合第一方面的可选实施方式，所述微调数据集包括正样本集以及与所述正样本集中的正样本语义不同的负样本集，在所述通过所述文本对与微调指令对所述预训练模型进行微调之后，所述方法还包括：
8、根据所述文本对，生成新的负样本；
9、将所述新的负样本添加到所述负样本集中。
10、结合第一方面的可选实施方式，在所述从微调数据集中选取文本对之前，所述方法还包括：
11、获取正样本集以及与所述正样本集中的正样本语义不同的初始负样本集；
12、将所述初始负样本集进行随机采样，得到随机负样本集；
13、通过bm25算法对所述初始负样本集进行采样，得到bm25负样本集；
14、根据所述正样本集、所述随机负样本集以及所述bm25负样本集，得到所述微调数据集。
15、结合第一方面的可选实施方式，所述预训练模型具有自动编码网络架构。
16、结合第一方面的可选实施方式，所述待训练模型的自动编码网络架构包括编码器与解码器，所述获取预训练模型，包括：
17、获取预训练文本；
18、将所述预训练文本以第一遮掩比例进行遮掩，得到第一遮掩文本；
19、将所述预训练文本以第二遮掩比例进行遮掩，得到第二遮掩文本，其中，第二遮掩比例大于第一遮掩比例；
20、通过所述编码器对所述第一遮掩文本进行处理，得到所述第一遮掩文本的文本编码；
21、将所述第二遮掩文本的文本编码与所述第一遮掩文本的文本编码输入所述解码器，得到遮掩位置的重建文本；
22、根据所述重建文本与遮掩位置的实际文本之间的差异，更新所述待训练模型；
23、若更新后的待训练模型不满足预设收敛条件，则返回至通过所述编码器对所述第一遮掩文本进行处理，得到所述第一遮掩文本的文本编码，直至满足所述预设收敛条件后，得到所述预训练模型。
24、结合第一方面的可选实施方式，所述编码器为bert模型，所述解码器为transformer模型的解码层。
25、第二方面，本技术还提供一种文本嵌入训练装置，所述装置包括：
26、预训练模块，用于获取预训练模型，其中，所述预训练模型通过目标领域的预训练文本对待训练模型进行预训练得到；
27、模型微调模块，用于从微调数据集中选取文本对，其中，所述微调数据集源自于所述目标领域；
28、通过所述文本对与微调指令对所述预训练模型进行微调，其中，所述微调指令用于指示所述预训练模型判断所述文本对的语义是否相似；
29、若微调后的预训练模型不满足预设收敛条件，则返回至所述从微调数据集中选取文本对，直至满足所述预设收敛条件后，得到文本嵌入模型。
30、结合第二方面的可选实施方式，所述微调数据集包括正样本集以及与所述正样本集中的正样本语义不同的负样本集，在所述模型微调模块还用于：
31、根据所述文本对，生成新的负样本；
32、将所述新的负样本添加到所述负样本集中。
33、结合第二方面的可选实施方式，在所述从微调数据集中选取文本对之前，所述模型微调模块还用于：
34、获取正样本集以及与所述正样本集中的正样本语义不同的初始负样本集；
35、将所述初始负样本集进行随机采样，得到随机负样本集；
36、通过bm25算法对所述初始负样本集进行采样，得到bm25负样本集；
37、根据所述正样本集、所述随机负样本集以及所述bm25负样本集，得到所述微调数据集。
38、结合第二方面的可选实施方式，所述预训练模型具有自动编码网络架构。
39、结合第二方面的可选实施方式，所述待训练模型的自动编码网络架构包括编码器与解码器，所述预训练模块具体用于：
40、获取预训练文本；
41、将所述预训练文本以第一遮掩比例进行遮掩，得到第一遮掩文本；
42、将所述预训练文本以第二遮掩比例进行遮掩，得到第二遮掩文本，其中，第二遮掩比例大于第一遮掩比例；
43、通过所述编码器对所述第一遮掩文本进行处理，得到所述第一遮掩文本的文本编码；
44、将所述第二遮掩文本的文本编码与所述第一遮掩文本的文本编码输入所述解码器，得到遮掩位置的重建文本；
45、根据所述重建文本与遮掩位置的实际文本之间的差异，更新所述待训练模型；
46、若更新后的待训练模型不满足预设收敛条件，则返回至通过所述编码器对所述第一遮掩文本进行处理，得到所述第一遮掩文本的文本编码，直至满足所述预设收敛条件后，得到所述预训练模型。
47、结合第二方面的可选实施方式，所述编码器为bert模型，所述解码器为transformer模型的解码层。
48、第三方面，本技术还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的文本嵌入训练方法。
49、第四方面，本技术还提供一种电子设备，所述电子设备包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时，实现所述的文本嵌入训练方法。
50、第五方面，本技术还提供一种程序指令，所述程序指令被处理器执行时实现所述的文本嵌入训练方法。
51、相对于现有技术而言，本技术具有以下有益效果：
52、本实施例提供一种文本嵌入训练方法、程序指令及相关装置。其中，电子设备获取预训练模型，其中，预训练模型通过目标领域的预训练文本对待训练模型进行预训练得到；从微调数据集中选取文本对，其中，微调数据集源自于目标领域；通过文本对与微调指令对预训练模型进行微调，其中，微调指令用于指示预训练模型判断文本对的语义是否相似；若微调后的预训练模型不满足预设收敛条件，则返回至从微调数据集中选取文本对，直至满足预设收敛条件后，得到文本嵌入模型。如此，利用目标领域的预训练文本得到预训练模型，并利用特有的微调方法对预训练模型进行微淘，以得到适用于目标领域的文本嵌入模型。
1.一种文本嵌入训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的文本嵌入训练方法，其特征在于，所述微调数据集包括正样本集以及与所述正样本集中的正样本语义不同的负样本集，在所述通过所述文本对与微调指令对所述预训练模型进行微调之后，所述方法还包括：
3.根据权利要求1所述的文本嵌入训练方法，其特征在于，在所述从微调数据集中选取文本对之前，所述方法还包括：
4.根据权利要求1所述的文本嵌入训练方法，其特征在于，所述预训练模型具有自动编码网络架构。
5.根据权利要求4所述的文本嵌入训练方法，其特征在于，所述待训练模型的自动编码网络架构包括编码器与解码器，所述获取预训练模型，包括：
6.根据权利要求5所述的文本嵌入训练方法，其特征在于，所述编码器为bert模型，所述解码器为transformer模型的解码层。
7.一种文本嵌入训练装置，其特征在于，所述装置包括：
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-6任意一项所述的文本嵌入训练方法。
9.一种电子设备，其特征在于，所述电子设备包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-6任意一项所述的文本嵌入训练方法。
10.一种程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1-6中任一项所述的文本嵌入训练方法。
