本发明涉及人工智能，具体涉及一种rag评估数据生成方法、装置、计算机设备以及非易失性计算机可读存储介质。
背景技术：
1、目前，随着人工智能(ai)技术的快速演进与发展，检索增强生成(retrieval-augmented generation，rag)技术已在当前ai领域中崭露头角，被视为一种尖端技术；特别是在保险行业中，rag技术的应用正逐步扩散，其在自动化理赔处理、团体保险核保流程、以及业务经营分析等方面的应用正在增多。
2、当前，为了确保rag系统能够高效运行并提供优质的性能，开发者必须对其进行精确的调整和优化，这一过程通常在rag系统投入实际运营之前进行，以确保服务质量；因此，在rag系统的研发阶段，研究人员需要使用专业的测试数据来评估系统性能。特别是在保险领域，多数研究人员需要手动标注测试问题、待检索的上下文文本、标准答案以及由模型生成的回答。然而，这种手动标注过程要求执行者具备深入的保险领域知识，导致标注工作不仅耗时且劳动强度高、效率低下，而且人工成本昂贵。
3、基于此，如何提供一种rag评估数据生成方法、装置、计算机设备以及非易失性计算机可读存储介质，可以快速、高效及准确地生成rag评估数据，是目前本领域技术人员亟待解决的问题。
技术实现思路
1、鉴于上述现有技术的不足之处，本发明的目的在于提供一种可用于金融科技或其他相关领域的rag评估数据生成方法、装置、计算机设备以及非易失性计算机可读存储介质，可以快速、高效及准确地生成rag评估数据。
2、为了达到上述目的，本发明采取了以下技术方案：
3、一种rag评估数据生成方法，其中，包括：
4、基于收集到的目标知识文档设计第一prompt，将所述第一prompt与所述目标知识文档输入预设的llm，生成相应的context；
5、基于生成的所述context设计第二prompt，将所述第二prompt与所述context输入所述llm，生成相应的query；
6、基于生成的所述query设计第三prompt，将所述第三prompt、所述query与所述context输入所述llm，生成相应的答案。
7、在进一步的技术方案中，所述的rag评估数据生成方法，其中，所述基于收集到的目标知识文档设计第一prompt，将所述第一prompt与所述目标知识文档输入预设的llm，生成相应的context，包括：
8、收集所需的目标知识文档；
9、基于收集到的所述目标知识文档设计所需的第一prompt；
10、将所述第一prompt与所述目标知识文档输入预设的llm，生成相应的多个context。
11、在进一步的技术方案中，所述的rag评估数据生成方法，其中，所述将所述第一prompt与所述目标知识文档输入预设的llm，生成相应的多个context之后，还包括：
12、计算得到每个所述context的高相似度负样本与低相似度负样本。
13、在进一步的技术方案中，所述的rag评估数据生成方法，其中，所述计算得到每个所述context的高相似度负样本与低相似度负样本，包括：
14、将每个所述context的文本均转换为向量；
15、计算每个所述context的向量与其他context的向量之间的余弦相似度；
16、根据相似度结果，确定每个所述context的高相似度负样本与低相似度负样本。
17、在进一步的技术方案中，所述的rag评估数据生成方法，其中，所述根据相似度结果，确定每个所述context的高相似度负样本与低相似度负样本之后，还包括：
18、使用kendall秩相关系数算法定量分析每个所述context的所述高相似度负样本与所述低相似度负样本之间的相关性。
19、在进一步的技术方案中，所述的rag评估数据生成方法，其中，所述将每个所述context的文本均转换为向量，包括：
20、使用预设的bge-large-model将每个所述context的文本均转换为向量。
21、在进一步的技术方案中，所述的rag评估数据生成方法，其中，所述基于生成的所述query设计第三prompt，将所述第三prompt、所述query与所述context输入所述llm，生成相应的答案之后，还包括：
22、基于所述query、所述答案、所述context及所述context对应的所述高相似度负样本与所述低相似度负样本，对目标rag系统的性能进行评估。
23、一种rag评估数据生成装置，其中，包括：
24、context生成模块，用于基于收集到的目标知识文档设计第一prompt，将所述第一prompt与所述目标知识文档输入预设的llm，生成相应的context；
25、query生成模块，用于基于生成的所述context设计第二prompt，将所述第二prompt与所述context输入所述llm，生成相应的query；
26、答案生成模块，用于基于生成的所述query设计第三prompt，将所述第三prompt、所述query与所述context输入所述llm，生成相应的答案。
27、一种计算机设备，其中，所述计算机设备包括至少一个处理器；以及，
28、与所述至少一个处理器通信连接的存储器；其中，
29、所述存储器上存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行时，可实现如上述任一项所述的rag评估数据生成方法。
30、一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，可实现如上述任一项所述的rag评估数据生成方法。
31、相较于现有技术，本发明提供了一种rag评估数据生成方法、装置、计算机设备以及非易失性计算机可读存储介质，其中，所述方法包括：基于收集到的目标知识文档设计第一prompt，将所述第一prompt与所述目标知识文档输入预设的llm，生成相应的context；基于生成的所述context设计第二prompt，将所述第二prompt与所述context输入所述llm，生成相应的query；基于生成的所述query设计第三prompt，将所述第三prompt、所述query与所述context输入所述llm，生成相应的答案。这样，通过本发明的方法可以快速、高效及准确地生成rag评估数据。
1.一种rag评估数据生成方法，其特征在于，包括：
2.根据权利要求1所述的rag评估数据生成方法，其特征在于，所述基于收集到的目标知识文档设计第一prompt，将所述第一prompt与所述目标知识文档输入预设的llm，生成相应的context，包括：
3.根据权利要求2所述的rag评估数据生成方法，其特征在于，所述将所述第一prompt与所述目标知识文档输入预设的llm，生成相应的多个context之后，还包括：
4.根据权利要求3所述的rag评估数据生成方法，其特征在于，所述计算得到每个所述context的高相似度负样本与低相似度负样本，包括：
5.根据权利要求4所述的rag评估数据生成方法，其特征在于，所述根据相似度结果，确定每个所述context的高相似度负样本与低相似度负样本之后，还包括：
6.根据权利要求5所述的rag评估数据生成方法，其特征在于，所述将每个所述context的文本均转换为向量，包括：
7.根据权利要求3-6任一项所述的rag评估数据生成方法，其特征在于，所述基于生成的所述query设计第三prompt，将所述第三prompt、所述query与所述context输入所述llm，生成相应的答案之后，还包括：
8.一种rag评估数据生成装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括至少一个处理器；以及，
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，可实现如权利要求1-7任一项所述的rag评估数据生成方法。
