本发明涉及人工智能，具体涉及一种rag系统性能评估方法、装置、计算机设备以及非易失性计算机可读存储介质。
背景技术：
1、目前，人工智能(ai)领域中，随着大语言模型(large language model，llm)的兴起，有研究者发现llm虽然捕获了足够的知识，可以在各种问答基准中与人类的表现相媲美，但llm无法回答和训练模型后发生事件的问题。这种问题的解决方法是依靠检索增强生成(retrieval-augmented generation，rag)，因此rag是当下最热门的大模型前沿技术之一。
2、rag在保险领域的应用也层出不穷，例如理赔a端助手、团体核保机器人和易览经营分析助手等。rag的有用性是显而易见的，但它们的实施需要大量的调整，这是因为rag系统整体性能将受到检索模型、语料库、llm或prompt表述等的影响，为了确保rag系统能够高效运行并提供优质的性能，开发者必须对其进行精确的调整和优化。因此，对rag系统的性能自动评估至关重要。
3、当前，现有的rag系统性能评估方法主要有如下两种：1、使用nlp任务中的公开数据集进行评估，例如机器阅读理解问答、自动摘要、实体抽取等，一方面这些nlp任务的数据与rag所需的数据有明显差别，会存在显著的适配性问题，因此需要有专业标注人员对其进行二次处理，这个过程无疑是费时费力的，另一方面保险领域的知识具有强烈的专业性，不同子领域之间的差异显著，例如理赔处理与核保流程所涉及的知识点和业务逻辑存在本质的区别，这意味着，这些公开数据无法有效评估保险rag的性能效果；2、编写一些简单的prompt，利用llm的推理能力对rag进行评估，如ragas(retrieval-augmented generationsystems)，但这种方法对于垂直领域的rag几乎没有适应性，因此该方法无法有效评估保险rag。
4、基于此，如何提供一种rag系统性能评估方法、装置、计算机设备以及非易失性计算机可读存储介质，可以实现对于目标rag系统的性能进行快速、高效及准确的评估，是目前本领域技术人员亟待解决的问题。
技术实现思路
1、鉴于上述现有技术的不足之处，本发明的目的在于提供一种可用于金融科技或其他相关领域的rag系统性能评估方法、装置、计算机设备以及非易失性计算机可读存储介质，可以实现对于目标rag系统的性能进行快速、高效及准确的评估。
2、为了达到上述目的，本发明采取了以下技术方案：
3、一种rag系统性能评估方法，其中，包括：
4、基于答案真实性评估指标、答案相关性评估指标与上下文相关性评估指标，分别对预设的三个llm进行微调，得到对应的答案真实性微调llm、答案相关性微调llm与上下文相关性微调llm；
5、基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分；
6、基于所述答案真实性得分、所述答案相关性得分与所述上下文相关性得分，生成所述目标rag系统的性能评估结果。
7、在进一步的技术方案中，所述的rag系统性能评估方法，其中，所述基于答案真实性评估指标、答案相关性评估指标与上下文相关性评估指标，分别对预设的三个llm进行微调，得到对应的答案真实性微调llm、答案相关性微调llm与上下文相关性微调llm，包括：
8、整理得到目标领域知识；
9、基于所述目标领域知识，根据答案真实性评估指标、答案相关性评估指标与上下文相关性评估指标的要求，整理得到对应的答案真实性训练数据、答案相关性训练数据与上下文相关性训练数据；
10、基于所述答案真实性训练数据、所述答案相关性训练数据与所述上下文相关性训练数据，使用lora算法分别对预设的三个llm进行微调，得到对应的答案真实性微调llm、答案相关性微调llm与上下文相关性微调llm。
11、在进一步的技术方案中，所述的rag系统性能评估方法，其中，所述基于所述目标领域知识，根据答案真实性评估指标、答案相关性评估指标与上下文相关性评估指标的要求，整理得到对应的答案真实性训练数据、答案相关性训练数据与上下文相关性训练数据，其中，
12、所述答案真实性训练数据包括答案文本、检索上下文文本、以及两者相关性的分值标签；
13、所述答案相关性训练数据包括答案文本、问题文本、以及两者相关性的分值标签；
14、所述上下文相关性训练数据包括上下文文本、问题文本、以及两者相关性的分值标签。
15、在进一步的技术方案中，所述的rag系统性能评估方法，其中，所述基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分，其中，
16、基于所述答案真实性微调llm对目标rag系统进行性能评估，得到对应的答案真实性得分，包括：
17、基于给定的第一目标答案文本设计第一prompt；
18、将所述第一prompt与所述第一目标答案文本输入预设的所述llm，生成答案短句；
19、使用预设的文本转向量模型将所述答案短句与目标检索上下文文本转换为向量形式，并计算两者的向量之间的相似性得分r1；
20、将所述第一目标答案文本与所述目标检索上下文文本输入所述答案真实性微调llm，得到分值r2；
21、计算得到所述目标rag系统对应的答案真实性得分为：
22、f1＝w1*r1+w2*r2，
23、其中，w1与w2是超参数。
24、在进一步的技术方案中，所述的rag系统性能评估方法，其中，所述基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分，其中，
25、基于所述答案相关性微调llm对目标rag系统进行性能评估，得到对应的答案相关性得分，包括：
26、基于给定的第二目标答案文本设计第二prompt；
27、将所述第二prompt与所述第二目标答案文本输入预设的所述llm，生成候选问句；
28、使用预设的所述文本转向量模型将所述候选问句与原始的第一目标问题文本转换为向量形式，计算每个所述候选问句的向量与所述第一目标问题文本的向量之间的相似性得分ri，并计算所有相似性得分ri的平均分值r3，作为输出：
29、
30、将所述第一目标问题文本与所述第二目标答案文本输入所述答案相关性微调llm，得到分值r4；
31、计算得到所述目标rag系统对应的答案相关性得分为：
32、f2＝w3*r3+w4*r4，
33、其中，w3与w4是超参数。
34、在进一步的技术方案中，所述的rag系统性能评估方法，其中，所述基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分，其中，
35、基于所述上下文相关性微调llm对目标rag系统进行性能评估，得到对应的上下文相关性得分，包括：
36、基于给定的目标上下文文本与第二目标问题文本设计第三prompt；
37、将所述第三prompt、所述目标上下文文本与所述第二目标问题文本输入预设的所述llm，生成候选上下文句子；
38、使用预设的所述文本转向量模型将所述候选上下文句子与所述第二目标问题文本转换为向量形式，计算每个所述候选上下文句子的向量与所述第二目标问题文本的向量之间的相似性得分rj，并计算所有相似性得分rj的平均分值r5，作为输出：
39、
40、将所述第二目标问题文本与所述目标上下文文本输入所述上下文相关性微调llm，得到分值r6；
41、计算得到所述目标rag系统对应的上下文相关性得分为：
42、f3＝w5*r5+w6*r6，
43、其中，w5与w6是超参数。
44、在进一步的技术方案中，所述的rag系统性能评估方法，其中，所述文本转向量模型为bge-large模型。
45、一种rag系统性能评估装置，其中，包括：
46、llm微调模块，用于基于答案真实性评估指标、答案相关性评估指标与上下文相关性评估指标，分别对预设的三个llm进行微调，得到对应的答案真实性微调llm、答案相关性微调llm与上下文相关性微调llm；
47、性能评估模块，用于基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分；
48、结果生成模块，用于基于所述答案真实性得分、所述答案相关性得分与所述上下文相关性得分，生成所述目标rag系统的性能评估结果。
49、一种计算机设备，其中，所述计算机设备包括至少一个处理器；以及，
50、与所述至少一个处理器通信连接的存储器；其中，
51、所述存储器上存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行时，可实现如上述任一项所述的rag系统性能评估方法。
52、一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，可实现如上述任一项所述的rag系统性能评估方法。
53、相较于现有技术，本发明提供了一种rag系统性能评估方法、装置、计算机设备以及非易失性计算机可读存储介质，其中，所述方法包括：基于答案真实性评估指标、答案相关性评估指标与上下文相关性评估指标，分别对预设的三个llm进行微调，得到对应的答案真实性微调llm、答案相关性微调llm与上下文相关性微调llm；基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分；基于所述答案真实性得分、所述答案相关性得分与所述上下文相关性得分，生成所述目标rag系统的性能评估结果。这样，通过本发明的方法可以实现对于目标rag系统的性能进行快速、高效及准确的评估。
1.一种rag系统性能评估方法，其特征在于，包括：
2.根据权利要求1所述的rag系统性能评估方法，其特征在于，所述基于答案真实性评估指标、答案相关性评估指标与上下文相关性评估指标，分别对预设的三个llm进行微调，得到对应的答案真实性微调llm、答案相关性微调llm与上下文相关性微调llm，包括：
3.根据权利要求2所述的rag系统性能评估方法，其特征在于，所述基于所述目标领域知识，根据答案真实性评估指标、答案相关性评估指标与上下文相关性评估指标的要求，整理得到对应的答案真实性训练数据、答案相关性训练数据与上下文相关性训练数据，其中，
4.根据权利要求2或3所述的rag系统性能评估方法，其特征在于，所述基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分，其中，
5.根据权利要求4所述的rag系统性能评估方法，其特征在于，所述基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分，其中，
6.根据权利要求5所述的rag系统性能评估方法，其特征在于，所述基于所述答案真实性微调llm、所述答案相关性微调llm与所述上下文相关性微调llm，分别对目标rag系统进行性能评估，得到对应的答案真实性得分、答案相关性得分与上下文相关性得分，其中，
7.根据权利要求6所述的rag系统性能评估方法，其特征在于，所述文本转向量模型为bge-large模型。
8.一种rag系统性能评估装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括至少一个处理器；以及，
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，可实现如权利要求1-7任一项所述的rag系统性能评估方法。
