本发明涉及计算机应用，尤其涉及一种基于检索增强生成的多模态事实核查方法。
背景技术：
1、
2、相关技术中，通常采用关键词匹配或文本相似度计算等方法来判断信息的真实性。但上述方法较为适用于单模态事实，即文本形态事实的核查，针对多模态事实，难以保证事实核查的准确性和效率。
技术实现思路
1、本发明提供了一种基于检索增强生成的多模态事实核查方法，以解决现有技术难以保证多模态事实核查的准确性和效率的技术问题。
2、根据本发明的一方面，提供了一种基于检索增强生成的多模态事实核查方法，其中，该方法包括：
3、获取待核查多模态事实，其中，所述待核查多模态事实包括多媒体的信息和/或事实文本的信息，所述多媒体包括事实图像和事实视频；
4、在所述待核查多模态事实满足检索增强生成条件的情况下，通过检索增强生成模型对输入的所述待核查多模态事实进行检索，确定所述待核查多模态事实对应的背景知识文本；
5、通过训练完成的目标核查模型对输入的所述待核查多模态事实和所述背景知识文本进行处理，确定所述待核查多模态事实对应的事实核查结果，
6、其中，所述事实核查结果包括事实真实和/或事实异常，所述目标核查模型基于多模态事实样本对初步核查模型训练得到。
7、本发明实施例的技术方案，通过获取待核查多模态事实，其中，所述待核查多模态事实包括多媒体的信息和/或事实文本的信息，所述多媒体包括事实图像和事实视频；在所述待核查多模态事实满足检索增强生成条件的情况下，通过检索增强生成模型对输入的所述待核查多模态事实进行检索，确定所述待核查多模态事实对应的背景知识文本；通过训练完成的目标核查模型对输入的所述待核查多模态事实和所述背景知识文本进行处理，确定所述待核查多模态事实对应的事实核查结果，其中，所述事实核查结果包括事实真实和/或事实异常，所述目标核查模型基于多模态事实样本对初步核查模型训练得到。本发明技术方案，实现了多模态事实的真实性核查，并采用了通过检索增强生成技术检索背景知识，结合背景知识和深度学习模型进行事实核查的方式，提高了多模态事实核查的准确性和效率。
8、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种基于检索增强生成的多模态事实核查方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述通过检索增强生成模型对输入的所述待核查多模态事实进行检索，确定所述待核查多模态事实对应的背景知识文本，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据每个所述搜索网页对应的网页文本确定所述待核查多模态事实对应的背景知识文本，包括：
4.根据权利要求1所述的方法，其特征在于，在所述获取待核查多模态事实之后，还包括：
5.根据权利要求4所述的方法，其特征在于，还包括：
6.根据权利要求1所述的方法，其特征在于，所述目标核查模型中包括多任务学习模型，所述多任务学习模型包括多个子网络模型；所述通过训练完成的目标核查模型对输入的所述待核查多模态事实和所述背景知识文本进行处理，确定所述待核查多模态事实对应的事实核查结果，包括：
7.根据权利要求6所述的方法，其特征在于，所述目标核查模型中还包括共同注意力机制；所述根据所述网络权重、所述像素变更特征、所述图像语义特征、所述文本语义特征以及所述背景语义特征确定所述待核查多模态事实对应的事实核查结果，包括：
8.根据权利要求7所述的方法，其特征在于，所述通过所述共同注意力机制确定所述图像语义特征和所述文本语义特征之间的第一融合特征，包括：
