本发明涉及大模型，尤其涉及一种文生图模型训练方法、文生图方法及装置。
背景技术：
：：1、文生图(text-to-image)是一种基于自然语言描述生成图像的技术。近几年时间，文生图的技术已实现大幅的进步，底层模型可以分为gan(generative adversarialnetwork，生成对抗网络)、扩散模型、自回归模型三类。2、目前行业内的模型主要基于扩散模型(diffusion model)实现，如sdm(stablediffusion model，稳定扩散模型)是一种被广泛利用的模型，其采用的底层模型是扩散模型，通过将扩散模型与潜在空间结合，大大减少计算复杂度，同时也能达到不错的图片生成效果。3、当前sd模型(稳定扩散模型)主要侧重于生成样本的外观和细节，对于生成的特定的人与事物本身细节相对清楚，但特定的关系学习仍存在问题，比如人与人之间的关系：拥抱、握手以及背靠背等，事物与事物之间的关系：上、下以及悬挂等，会存在关系生成错误或者与事实不符的情况，造成生成图像的准确性较低。技术实现思路1、有鉴于此，本发明实施例提供了一种文生图模型训练方法、文生图方法及装置，以提高文生图模型对关系的感知能力，进而提高文生图模型生成图像的准确性。2、根据本发明的一方面，提供了一种文生图模型训练方法，所述方法包括：3、获取预训练的候选文生图模型；4、将训练数据输入至所述候选文生图模型中，所述训练数据为图文对，每个所述图文对中包括样本图像以及所述样本图像的样本描述信息，所述样本描述信息中包括预设关系词以及身份信息；5、通过所述候选文生图模型向所述样本图像中添加预设噪声得到噪声图像，并基于所述样本描述信息对所述噪声图像进行去噪，得到预测噪声；6、基于所述预测噪声与所述预设噪声之间的噪声损失，以及所述样本描述信息与预设正负样本之间的对比损失得到目标损失；7、基于所述目标损失对所述候选文生图模型进行微调，直至所述目标损失收敛，得到目标文生图模型。8、在一种可能的实施例中，所述对比损失通过以下步骤获取：9、随机从预设样本库中抽取多个比对样本，其中，所述预设样本库中包含针对各预设关系词设置的正样本以及负样本；10、计算各所述比对样本与所述样本描述信息之间的语义相似度，确定与所述样本描述信息之间的语义相似度高于预设相似度阈值的比对样本为正比对样本，确定与所述样本描述信息之间的语义相似度不高于所述预设相似度阈值的比对样本为负比对样本；11、基于所述样本描述信息、所述正比对样本以及所述负比对样本之间的语义相似度，确定对比损失。12、在一种可能的实施例中，所述通过所述候选文生图模型向所述样本图像中添加预设噪声得到噪声图像，并基于所述样本描述信息对所述噪声图像进行去噪，得到预测噪声，包括：13、基于预设高斯噪声，对所述样本图像添加噪声，得到所述样本图像对应的噪声图像；14、利用预设图像编码器对所述噪声图像进行编码，利用预设文本编码器对所述样本描述信息进行文本编码，得到目标图像编码以及目标文本编码；15、对所述目标图像编码以及所述目标文本编码进行嵌入，得到目标嵌入编码；其中，所述嵌入为将所述目标图像编码与所述目标文本编码中的身份信息语义相似度最高的部分进行拼接；16、基于所述目标嵌入编码对所述噪声图像进行去噪，得到预测噪声。17、在一种可能的实施例中，所述方法还包括：18、对所述样本图像进行图像分割，得到多个分割结果，其中，每个所述分割结果中包含一个对象信息，所述对象包括人物以及动物；19、提取各所述分割结果的图像特征，得到各分割特征；20、对各所述分割特征以及所述目标文本编码进行交叉注意力计算，得到目标混合编码；21、基于所述目标混合编码以及所述目标嵌入编码对所述噪声图像进行去噪，得到预测噪声。22、根据本发明的另一方面，提供了一种文生图方法，所述方法包括：23、获取目标描述文本以及参考图像；24、将所述目标描述文本以及所述参考图像输出至预设文生图模型中，以使所述文生图模型利用预设文本编码器对所述目标描述文本进行编码得到目标文本编码，对所述参考图像进行编码，得到目标图像编码；对所述目标图像编码添加预设噪声，得到噪声图像，并对所述目标文本编码以及所述目标图像编码进行嵌入以及交叉注意力计算，得到目标嵌入编码以及目标混合编码；基于所述目标文本编码、所述目标嵌入编码以及所述目标混合编码对所述噪声图像进行去噪，得到目标图像，其中，所述预设文生图模型通过上述任一所述的文生图模型训练方法预先训练得到。25、根据本发明的另一方面，提供了一种文生图模型训练装置，所述装置包括：26、第一获取模块，用于获取预训练的候选文生图模型；27、第一输入模块，用于将训练数据输入至所述候选文生图模型中，所述训练数据为图文对，每个所述图文对中包括样本图像以及所述样本图像的样本描述信息，所述样本描述信息中包括预设关系词以及身份信息；28、去噪模块，用于通过所述候选文生图模型向所述样本图像中添加预设噪声得到噪声图像，并基于所述样本描述信息对所述噪声图像进行去噪，得到预测噪声；29、损失计算模块，用于基于所述预测噪声与所述预设噪声之间的噪声损失，以及所述样本描述信息与预设正负样本之间的对比损失得到目标损失；30、训练模块，用于基于所述目标损失对所述候选文生图模型进行微调，直至所述目标损失收敛，得到目标文生图模型。31、在一种可能的实施例中，所述对比损失通过以下步骤获取：32、随机从预设样本库中抽取多个比对样本，其中，所述预设样本库中包含针对各预设关系词设置的正样本以及负样本；33、计算各所述比对样本与所述样本描述信息之间的语义相似度，确定与所述样本描述信息之间的语义相似度高于预设相似度阈值的比对样本为正比对样本，确定与所述样本描述信息之间的语义相似度不高于所述预设相似度阈值的比对样本为负比对样本；34、基于所述样本描述信息、所述正比对样本以及所述负比对样本之间的语义相似度，确定对比损失。35、根据本发明的另一方面，提供了一种文生图装置，所述装置包括：36、第二获取模块，用于获取目标描述文本以及参考图像；37、第三获取模块，用于将所述目标描述文本以及所述参考图像输出至预设文生图模型中，以使所述文生图模型利用预设文本编码器对所述目标描述文本进行编码得到目标文本编码，对所述参考图像进行编码，得到目标图像编码；对所述目标图像编码添加预设噪声，得到噪声图像，并对所述目标文本编码以及所述目标图像编码进行嵌入以及交叉注意力计算，得到目标嵌入编码以及目标混合编码；基于所述目标文本编码、所述目标嵌入编码以及所述目标混合编码对所述噪声图像进行去噪，得到目标图像，其中，所述预设文生图模型通过上述任一所述的文生图模型训练方法预先训练得到。38、根据本发明的另一方面，提供了一种电子设备，包括：39、处理器；以及40、存储程序的存储器，41、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述任一所述的文生图模型训练方法或文生图方法。42、根据本发明的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行上述任一所述的文生图模型训练方法或文生图方法。43、本发明实施例中提供的一个或多个技术方案，通过使用含有预设关系词的训练数据对预训练的候选文生图模型进行微调，并基于样本描述信息中包含的预设关系词以及正负样本计算对比损失，以及基于候选文生图模型针对样本图像得到的预测噪声与加入知样本图像中的预设噪声，得到去噪损失，并基于这两种损失得到目标损失对候选文生图模型进行训练，通过基于图像和关系词两方面损失对候选文生图模型进行训练，增强文生图模型对关系以及图像的学习能力，进而提高文生图模型基于用户描述输出的图像的准确性。当前第1页12当前第1页12
技术特征：1.一种文生图模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对比损失通过以下步骤获取：
3.根据权利要求1所述的方法，其特征在于，所述通过所述候选文生图模型向所述样本图像中添加预设噪声得到噪声图像，并基于所述样本描述信息对所述噪声图像进行去噪，得到预测噪声，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.一种文生图方法，其特征在于，所述方法包括：
6.一种文生图模型训练装置，其特征在于，所述装置包括：
7.根据权利要求6所述的装置，其特征在于，所述对比损失通过以下步骤获取：
8.一种文生图装置，其特征在于，所述装置包括：
9.一种电子设备，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-4或5中任一项所述的方法。
技术总结本发明提供一种文生图模型训练方法、文生图方法及装置，包括：将图文对输入至候选文生图模型中，每个图文对中包括样本图像及对应包括预设关系词以及身份信息的样本描述信息，通过候选文生图模型向样本图像添加预设噪声并基于样本描述信息对噪声图像进行去噪，得到预测噪声，基于预测噪声与预设噪声之间的噪声损失、样本描述信息与预设正负样本之间的对比损失得到目标损失，基于目标损失对所述候选文生图模型进行微调得到目标文生图模型。通过基于图像和关系词两方面损失对候选文生图模型进行训练，增强文生图模型对关系以及图像的学习能力，进而提高文生图模型基于用户描述输出的图像的准确性。
技术研发人员：孔令美,杨青
受保护的技术使用者：度小满科技(北京)有限公司
技术研发日：技术公布日：2024/12/17
