本技术涉及数据处理,尤其涉及一种可溯源的问答方法、装置、设备及存储介质。
背景技术:
1、在一些场景下,需要在含有大量内容的文档中查询需要的信息。例如,在条例查询场景下,用户需要在某一条例文件中查找某一事件对应的条例。
2、在相关技术中,用户可以通过问答系统对目标文档进行提问。用户可以将问题和目标文档上传至问答系统,问答系统可以对目标文档进行解析,然后基于对目标文档的解析结果,对用户的问题进行回答。
3、然而,问答系统仅能对纯文本内容的目标文档进行解析,对于包含图片、表格等非文本元素的目标文档解析能力较差,且不能基于目标文档对回答进行溯源,导致回答的可靠性较低。
技术实现思路
1、本技术提供一种可溯源的问答方法、装置、设备及存储介质,用以解决回答可靠性较低的问题。
2、第一方面,本技术提供一种可溯源的问答方法,包括:
3、获取问答请求,所述问答请求包括目标文档和问题文本,所述问答请求用于请求在所述目标文档中确定所述问题文本对应的答案;
4、在所述目标文档中确定多个文档块、以及每个文档块在所述目标文档中的位置,所述文档块包括文本块、图片块或表格块中的至少两种;
5、根据所述问题文本,在所述多个文档块中确定至少一个目标文档块,所述问题文本与所述目标文档块的相似度大于或等于预设阈值;
6、根据所述至少一个目标文档块和所述问题文本,确定答案文本;
7、根据所述至少一个目标文档块在所述目标文档中的位置,在所述目标文档中确定每个目标文档块对应的文档块截图;
8、输出所述答案文本、以及每个目标文档块对应的文档块截图。
9、在一种可能的实现方法中,根据所述问题文本,在所述多个文档块中确定至少一个目标文档块,包括:
10、针对任意一个文档块,根据所述文档块的类型,确定所述文档块对应的描述文本;
11、根据所述问题文本、以及每个文档块对应的描述文本,在所述多个文档块中确定所述至少一个目标文档块。
12、在一种可能的实现方法中,根据所述文档块的类型,确定所述文档块对应的描述文本,包括:
13、若所述文档块的类型为所述文本类型,则对所述文档块进行文本识别处理,得到所述文档块对应的描述文本;
14、若所述文档块的类型为所述图片类型,则在所述文档块中识别得到第一文本,并对所述文档块进行图像识别处理,以得到所述文档块对应的图像语义信息,并根据所述第一文本和所述图像语义信息,确定所述文档块对应的描述文本;
15、若所述文档块的类型为所述表格类型,则在所述文档块中识别得到的表结构和表文本,并根据所述表结构和所述表文本,确定所述文档块对应的描述文本。
16、在一种可能的实现方法中,根据所述问题文本、以及每个文档块对应的描述文本,在所述多个文档块中确定所述至少一个目标文档块,包括:
17、确定所述问题文本对应的第一向量,以及确定每个描述文本对应的第二向量,得到多个第二向量;
18、确定所述第一向量与每个第二向量之间的相似度;
19、根据相似度从高到低的顺序,对所述多个第二向量进行排序,并将所述多个第二向量中前k个第二向量对应的文档块确定为所述至少一个目标文档块,所述k为大于或等于1的整数。
20、在一种可能的实现方法中,根据所述至少一个目标文档块和所述问题文本,确定答案文本,包括:
21、对所述至少一个目标文档块对应的描述文本与所述问题文本进行融合处理,得到模型文本;
22、通过语言模型对所述模型文本进行处理,得到所述答案文本。
23、在一种可能的实现方法中,在所述目标文档中确定多个文档块、以及每个文档块在所述目标文档中的位置,包括:
24、对所述目标文档进行网格划分处理,得到多个文档网格;
25、针对任意一个文档网格,确定所述文档网格对应的网格类型,所述网格类型为文本类型、图片类型或者表格类型;
26、根据每个文档网格对应的网格类型、以及每个文档网格在所述目标文档中的位置,确定所述多个文档块、以及每个文档块在所述目标文档中的位置。
27、在一种可能的实现方法中,根据每个文档网格对应的网格类型、以及每个文档网格在所述目标文档中的位置,确定所述多个文档块、以及每个文档块在所述目标文档中的位置,包括:
28、根据每个文档网格对应的网格类型、以及每个文档网格在所述目标文档中的位置,对位置相邻、且网格类型相同的文档网格进行聚类处理,得到所述多个文档块;
29、针对任意一个文档块,确定所述文档块对应的文档网格,并根据所述文档块对应的文档网格在所述目标文档中的位置,确定所述文档块在所述目标文档中的位置。
30、第二方面,本技术提供一种可溯源的问答装置,包括:获取模块、第一确定模块、第二确定模块、第三确定模块、第四确定模块和输出模块,其中,
31、所述获取模块用于,获取问答请求,所述问答请求包括目标文档和问题文本,所述问答请求用于请求在所述目标文档中确定所述问题文本对应的答案;
32、所述第一确定模块用于,在所述目标文档中确定多个文档块、以及每个文档块在所述目标文档中的位置,所述文档块包括文本块、图片块或表格块中的至少两种;
33、所述第二确定模块用于,根据所述问题文本,在所述多个文档块中确定至少一个目标文档块,所述问题文本与所述目标文档块的相似度大于或等于预设阈值;
34、所述第三确定模块用于,根据所述至少一个目标文档块和所述问题文本,确定答案文本;
35、所述第四确定模块用于,根据所述至少一个目标文档块在所述目标文档中的位置,在所述目标文档中确定每个目标文档块对应的文档块截图;
36、所述输出模块用于,输出所述答案文本、以及每个目标文档块对应的文档块截图。
37、一种可能的实现方式中,第二确定模块具体用于:
38、针对任意一个文档块,根据所述文档块的类型,确定所述文档块对应的描述文本;
39、根据所述问题文本、以及每个文档块对应的描述文本,在所述多个文档块中确定所述至少一个目标文档块。
40、一种可能的实现方式中,第二确定模块具体用于:
41、若所述文档块的类型为所述文本类型,则对所述文档块进行文本识别处理,得到所述文档块对应的描述文本;
42、若所述文档块的类型为所述图片类型,则在所述文档块中识别得到第一文本,并对所述文档块进行图像识别处理,以得到所述文档块对应的图像语义信息,并根据所述第一文本和所述图像语义信息,确定所述文档块对应的描述文本;
43、若所述文档块的类型为所述表格类型,则在所述文档块中识别得到的表结构和表文本,并根据所述表结构和所述表文本,确定所述文档块对应的描述文本。
44、一种可能的实现方式中,第二确定模块具体用于:
45、确定所述问题文本对应的第一向量,以及确定每个描述文本对应的第二向量,得到多个第二向量;
46、确定所述第一向量与每个第二向量之间的相似度;
47、根据相似度从高到低的顺序,对所述多个第二向量进行排序,并将所述多个第二向量中前k个第二向量对应的文档块确定为所述至少一个目标文档块,所述k为大于或等于1的整数。
48、一种可能的实现方式中,第二确定模块具体用于:
49、对所述至少一个目标文档块对应的描述文本与所述问题文本进行融合处理,得到模型文本;
50、通过语言模型对所述模型文本进行处理,得到所述答案文本。
51、一种可能的实现方式中,第一确定模块具体用于:
52、对所述目标文档进行网格划分处理,得到多个文档网格;
53、针对任意一个文档网格,确定所述文档网格对应的网格类型,所述网格类型为文本类型、图片类型或者表格类型;
54、根据每个文档网格对应的网格类型、以及每个文档网格在所述目标文档中的位置,确定所述多个文档块、以及每个文档块在所述目标文档中的位置。
55、一种可能的实现方式中,第一确定模块具体用于:
56、根据每个文档网格对应的网格类型、以及每个文档网格在所述目标文档中的位置,对位置相邻、且网格类型相同的文档网格进行聚类处理,得到所述多个文档块;
57、针对任意一个文档块,确定所述文档块对应的文档网格,并根据所述文档块对应的文档网格在所述目标文档中的位置,确定所述文档块在所述目标文档中的位置。
58、第三方面,本技术实施例提供一种电子设备,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的可溯源的问答方法。
59、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的可溯源的问答方法。
60、第五方面,本技术实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上第一方面以及第一方面各种可能的设计所述的可溯源的问答方法。
61、本技术提供的可溯源的问答方法、装置、设备及存储介质,当需要根据目标文档确定问题文本的答案时,可以先将目标文档分成多个文档块,根据问题文本和每个文档块之间的相似度确定目标文档块,根据目标文档块和问题文本输出答案文本,根据目标文档块在目标文档中的位置输出其对应的文档块截图,上述方法可以在输出答案文本的同时溯源答案的来源,解决了答案的可靠性较低的问题。
1.一种可溯源的问答方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据所述问题文本,在所述多个文档块中确定至少一个目标文档块,包括:
3.根据权利要求2所述的方法,其特征在于,根据所述文档块的类型,确定所述文档块对应的描述文本,包括:
4.根据权利要求2或3所述的方法,其特征在于,根据所述问题文本、以及每个文档块对应的描述文本,在所述多个文档块中确定所述至少一个目标文档块,包括:
5.根据权利要求2-4任一项所述的方法,其特征在于,根据所述至少一个目标文档块和所述问题文本,确定答案文本,包括:
6.根据权利要求1-5任一项所述的方法,其特征在于,在所述目标文档中确定多个文档块、以及每个文档块在所述目标文档中的位置,包括:
7.根据权利要求6所述的方法,其特征在于,根据每个文档网格对应的网格类型、以及每个文档网格在所述目标文档中的位置,确定所述多个文档块、以及每个文档块在所述目标文档中的位置,包括:
8.一种可溯源的问答装置,其特征在于,包括:获取模块、第一确定模块、第二确定模块、第三确定模块、第四确定模块和输出模块,其中,
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
11.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。