本技术涉及文本摘要,特别涉及一种文本摘要优化方法、装置、设备及介质。
背景技术:
1、文本摘要技术旨在通过提取原文中的重要内容,生成简短而有意义的摘要,以便用户快速获取所需信息。当前,大语言模型在文本摘要任务中的应用非常广泛,特别是将进化算法与大语言模型结合以优化文本摘要任务的方法正变得越来越受关注。传统的文本摘要评价方法,如rouge-l(rouge-l是一种通过计算候选译文和参考译文之间的最长公共子序列的长度来评估文本生成或机器翻译的质量的方法)和双语评估替换(bleu,bilingualevaluation understudy),主要关注词序列的匹配情况,忽略了语义信息,对词序非常敏感,难以全面反映摘要的质量。此外,基于双向编码器的相似度度量(bertscore)尽管引入了语义相似性计算,但这些语义指标也存在一些问题,如缺乏具体的评估目标,无法提供明确的反馈来指导摘要优化过程,以及缺乏多样性控制,可能导致生成的摘要趋于相似,陷入局部最优解。由此可见,现有的文本摘要优化方法存在文本摘要质量低的问题。
技术实现思路
1、本技术提供了一种文本摘要优化方法、装置、设备及介质,可以解决文本摘要质量低的问题。
2、第一方面,本技术实施例提供了一种文本摘要优化方法,该文本摘要优化方法包括:
3、获取目标文本的多个提示词,根据每个提示词生成目标文本的文本摘要;
4、计算每个文本摘要的完整值、正确值和简洁值;
5、获取对所有文本摘要进行优化的迭代总次数,并基于迭代总次数计算完整值动态权重、正确值动态权重和简洁值动态权重;
6、分别针对每个文本摘要,根据文本摘要对应的完整值、正确值、简洁值以及完整值动态权重、正确值动态权重、简洁值动态权重,计算文本摘要的动态权重综合评价值;
7、利用所有动态权重综合评价值对所有文本摘要进行迭代优化,直到迭代优化的迭代次数等于迭代总次数,得到多个优化文本摘要和每个优化文本摘要对应的优化动态权重综合评价值;
8、根据所有优化动态权重综合评价值从所有优化文本摘要中确定出目标文本的最终文本摘要。
9、可选的,计算每个文本摘要的完整值、正确值和简洁值,包括:
10、通过公式:
11、
12、计算第个文本摘要的完整值;
13、其中,表示第个文本摘要与参考摘要之间的第一相似度,表示第个文本摘要与参考摘要之间的第二相似度,,表示文本摘要的数量;
14、通过公式:
15、
16、计算第个文本摘要的正确值;
17、其中,表示文本摘要的正确性评分,;
18、通过公式:
19、
20、
21、
22、计算第个文本摘要的简洁值;
23、其中,和均表示权重,表示在第个文本摘要中出现次数大于1的所有单词的集合,词频表示单词在第个文本摘要中的出现次数。
24、可选的,基于迭代总次数计算完整值动态权重、正确值动态权重和简洁值动态权重,包括:
25、通过公式:
26、
27、计算动态权重;
28、其中,表示基础权重,表示初始动态权重,,当时,表示完整值动态权重,表示完整值基础权重,表示完整值初始动态权重,当时,表示正确值动态权重,表示正确值基础权重,表示正确值初始动态权重,当时,表示简洁值动态权重,表示简洁值基础权重,表示简洁值初始动态权重:
29、
30、
31、
32、其中,,表示迭代总次数。
33、可选的,根据文本摘要对应的完整值、正确值、简洁值以及完整值动态权重、正确值动态权重、简洁值动态权重,计算文本摘要的动态权重综合评价值,包括:
34、通过公式:
35、
36、计算第个文本摘要的动态权重综合评价值;
37、其中,表示第个文本摘要的完整值,表示第个文本摘要的正确值,表示第个文本摘要的简洁值,,表示文本摘要的数量。
38、可选的,利用所有动态权重综合评价值对所有文本摘要进行迭代优化,直到迭代优化的迭代次数等于迭代总次数,得到多个优化文本摘要和每个优化文本摘要对应的优化动态权重综合评价值,包括:
39、将所有动态权重综合评价值由大到小进行排序,将排序结果中前多个动态权重综合评价值均作为第一动态权重综合评价值;
40、将每个第一动态权重综合评价值对应的文本摘要作为第一文本摘要,对应的提示词作为第一提示词;
41、获取每个第一文本摘要的多个关键字信息,并将每个第一文本摘要的多个关键字信息作为一个信息组,将多个信息组中均存在的关键字信息作为第一关键字信息;
42、根据所有第一提示词生成多个新提示词;
43、分别针对每个第一提示词,将第一提示词与所有第一关键字信息进行组合,得到第二提示词;
44、分别针对每个新提示词,将新提示词与所有第一关键字信息进行组合,得到第二提示词;
45、根据每个第二提示词,生成每个第二提示词对应的第二文本摘要,并计算每个第二文本摘要的第二动态权重综合评价值;
46、将所有动态权重综合评价值和所有第二动态权重综合评价值均作为一目标动态权重综合评价值,并将所有动态权重综合评价值对应的文本摘要和所有第二动态权重综合评价值对应的第二文本摘要均作为一目标文本摘要;
47、将所有目标动态权重综合评价值由大到小进行排序,将排序结果中前多个目标动态权重综合评价值均作为第三动态权重综合评价值,将每个第三动态权重综合评价值对应的目标文本摘要作为第三文本摘要;第三文本摘要的数量与文本摘要的数量相同;
48、判断迭代次数是否等于迭代总次数;
49、若是,则将每个第三文本摘要作为优化文本摘要,每个第三动态权重综合评价值作为优化动态权重综合评价值;
50、否则,迭代次数加1,将每个第三文本摘要作为文本摘要,每个第三动态权重综合评价值作为动态权重综合评价值,返回将所有动态权重综合评价值由大到小进行排序,将排序结果中前多个动态权重综合评价值均作为第一动态权重综合评价值的步骤。
51、可选的,根据所有优化动态权重综合评价值从所有优化文本摘要中确定出目标文本的最终文本摘要,包括:
52、将所有优化动态权重综合评价值中最大的优化动态权重综合评价值作为最终动态权重综合评价值,并将最终动态权重综合评价值对应的优化文本摘要作为目标文本的最终文本摘要。
53、第二方面,本技术实施例提供了一种文本摘要优化装置,包括:
54、生成模块,用于获取目标文本的多个提示词,根据每个提示词生成目标文本的文本摘要;
55、第一计算模块,用于计算每个文本摘要的完整值、正确值和简洁值;
56、获取模块,用于获取对所有文本摘要进行优化的迭代总次数,并基于迭代总次数计算完整值动态权重、正确值动态权重和简洁值动态权重;
57、第二计算模块,用于分别针对每个文本摘要,根据文本摘要对应的完整值、正确值、简洁值以及完整值动态权重、正确值动态权重、简洁值动态权重,计算文本摘要的动态权重综合评价值;
58、迭代优化模块,用于利用所有动态权重综合评价值对所有文本摘要进行迭代优化,直到迭代优化的迭代次数等于迭代总次数,得到多个优化文本摘要和每个优化文本摘要对应的优化动态权重综合评价值;
59、确定模块,用于根据所有优化动态权重综合评价值从所有优化文本摘要中确定出目标文本的最终文本摘要。
60、第三方面,本技术实施例提供了一种终端设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,该处理器执行上述计算机程序时实现上述的文本摘要优化方法。
61、第四方面,本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述的文本摘要优化方法。
62、本技术的上述方案有如下的有益效果:
63、在本技术的实施例中,通过获取目标文本的多个提示词,根据每个提示词生成目标文本的文本摘要,然后计算每个文本摘要的完整值、正确值和简洁值,再获取对所有文本摘要进行优化的迭代总次数,并基于迭代总次数计算完整值动态权重、正确值动态权重和简洁值动态权重,然后分别针对每个文本摘要,根据文本摘要对应的完整值、正确值、简洁值以及完整值动态权重、正确值动态权重、简洁值动态权重,计算文本摘要的动态权重综合评价值,再利用所有动态权重综合评价值对所有文本摘要进行迭代优化,直到迭代优化的迭代次数等于迭代总次数,得到多个优化文本摘要和每个优化文本摘要对应的优化动态权重综合评价值,最后根据所有优化动态权重综合评价值从所有优化文本摘要中确定出目标文本的最终文本摘要。其中,计算文本摘要的完整值、正确值和简洁值,能够在完整性、正确性、简洁性三个方面对文本摘要进行评价,提高对文本摘要的评价全面性,根据迭代总次数计算动态权重,并根据动态权重和三方面的全面评价计算动态权重综合评价值,使得在对文本摘要进行迭代优化的过程中,能够在不同阶段的迭代中针对文本摘要在不同方面的优化进行动态调整,有效提高文本摘要的质量。
64、本技术的其它有益效果将在随后的具体实施方式部分予以详细说明。
1.一种文本摘要优化方法,其特征在于,包括:
2.根据权利要求1所述的文本摘要优化方法,其特征在于,所述计算每个所述文本摘要的完整值、正确值和简洁值,包括:
3.根据权利要求1所述的文本摘要优化方法,其特征在于,所述基于所述迭代总次数计算完整值动态权重、正确值动态权重和简洁值动态权重,包括:
4.根据权利要求3所述的文本摘要优化方法,其特征在于,所述根据所述文本摘要对应的完整值、正确值、简洁值以及完整值动态权重、正确值动态权重、简洁值动态权重,计算所述文本摘要的动态权重综合评价值,包括:
5.根据权利要求4所述的文本摘要优化方法,其特征在于,所述利用所有动态权重综合评价值对所有文本摘要进行迭代优化,直到迭代优化的迭代次数等于所述迭代总次数,得到多个优化文本摘要和每个所述优化文本摘要对应的优化动态权重综合评价值,包括:
6.根据权利要求5所述的文本摘要优化方法,其特征在于,所述根据所有优化动态权重综合评价值从所有优化文本摘要中确定出所述目标文本的最终文本摘要,包括:
7.一种文本摘要优化装置,其特征在于,包括:
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的文本摘要优化方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的文本摘要优化方法。
