文本主题分割方法、系统、计算机设备及存储介质与流程

专利2025-04-15  20


本发明涉及人工智能,应用于金融相关的智能客服场景中,具体涉及一种文本主题分割方法、系统、计算机设备以及非易失性计算机可读存储介质。


背景技术:

1、目前,文本主题分割作为自然语言处理(nlp)中的基础任务,核心目标是将文本根据其中讨论的不同主题划分成连贯的段落。传统的主题分割方法主要依赖于局部上下文分析和语言特征的提取,如利用词性标注、句法结构、以及局部语义特征等信息来识别文本的主题边界。当前,随着深度学习的发展,特别是transformer模型的提出,文本主题分割领域迎来了新的发展机遇。transformer模型通过自注意力机制能够捕捉文本中词嵌入之间的复杂关系,无论这些词在文本中的位置相隔多远。这种全局依赖捕捉能力使得transformer模型在很多nlp任务上取得了显著的性能提升。

2、但是,尽管transformer模型在捕捉全局信息方面表现出色,其内部工作机制的不透明性(通常被称为“黑匣子”问题)和对局部上下文信息捕捉的不足,为文本主题分割带来了挑战。局部上下文信息对于理解句子语义和准确划分主题边界至关重要,而transformer模型在这方面的表现并不理想。即,现有技术的不足之处在于:

3、1、transformer模型虽然在全局信息捕捉上具有优势,但缺乏对局部上下文的敏感性,影响了文本主题分割的准确性;

4、2、transformer模型的可解释性不足,导致其在实际应用中难以满足对透明度和可靠性的需求。

5、综上所述,如何提供一种文本主题分割方法、系统、计算机设备以及非易失性计算机可读存储介质,可有效提高文本主题分割的准确性及可靠性,是目前本领域技术人员亟待解决的问题。


技术实现思路

1、鉴于上述现有技术的不足之处,本发明的目的在于提供一种可用于金融科技或其他相关领域的文本主题分割方法、系统、计算机设备以及非易失性计算机可读存储介质,旨在解决如何可有效提高文本主题分割的准确性及可靠性的问题。

2、为了达到上述目的,本发明采取了以下技术方案:

3、一种文本主题分割方法,其中,包括:

4、利用预训练的transformer模型对目标文本进行嵌入处理,生成多个句子嵌入;

5、基于各所述句子嵌入,利用预设的自注意力机制及可学习权重矩阵计算处理,生成相应的目标权重矩阵;

6、利用所述目标权重矩阵调整处理各所述句子嵌入,生成相应的句子嵌入表示;

7、将各所述句子嵌入表示输入分类器,生成所述目标文本的主题边界信息;

8、基于所述主题边界信息,对所述目标文本进行主题分割。

9、在进一步的技术方案中,所述的文本主题分割方法,其中,所述利用预训练的transformer模型对目标文本进行嵌入处理,生成多个句子嵌入,包括:

10、获取上传的待分割文本;

11、对所述待分割文本进行预处理,生成相应的目标文本;

12、利用预训练的transformer模型对所述目标文本进行嵌入处理,生成多个句子嵌入。

13、在进一步的技术方案中,所述的文本主题分割方法,其中,所述基于各所述句子嵌入,利用预设的自注意力机制及可学习权重矩阵计算处理,生成相应的目标权重矩阵,包括:

14、利用预设的自注意力机制计算各所述句子嵌入之间的注意力分数,生成相应的自注意力矩阵;

15、基于所述自注意力矩阵及预设的可学习权重矩阵,生成相应的目标权重矩阵。

16、在进一步的技术方案中,所述的文本主题分割方法,其中,所述利用所述目标权重矩阵调整处理各所述句子嵌入,生成相应的句子嵌入表示,包括:

17、利用所述目标权重矩阵对各所述句子嵌入进行初步调整处理,生成相应的初始句子嵌入;

18、对各所述初始句子嵌入进行评估与优化处理,生成相应的句子嵌入表示。

19、在进一步的技术方案中,所述的文本主题分割方法,其中,所述将各所述句子嵌入表示输入分类器,生成所述目标文本的主题边界信息,包括:

20、预先构建文本主题分割所需的分类器;

21、将各所述句子嵌入表示输入所述分类器;

22、接收所述分类器返回的所述目标文本的主题预测结果;其中,所述主题预测结果包括所述目标文本的主题边界信息与主题标签。

23、在进一步的技术方案中,所述的文本主题分割方法,其中,所述基于所述主题边界信息,对所述目标文本进行主题分割,包括:

24、基于所述主题边界信息,对所述目标文本进行主题分割,得到对应的多个目标主题;

25、通过所述主题标签为各所述目标主题配置相应的目标标签。

26、在进一步的技术方案中,所述的文本主题分割方法,其中,所述基于所述自注意力矩阵及预设的可学习权重矩阵,生成相应的目标权重矩阵,包括:

27、预先构建可学习权重矩阵;

28、将所述自注意力矩阵与所述可学习权重矩阵进行乘法计算,生成相应的目标权重矩阵。

29、一种文本主题分割系统,其中,包括:

30、嵌入处理模块,用于利用预训练的transformer模型对目标文本进行嵌入处理,生成多个句子嵌入;

31、计算处理模块,用于基于各所述句子嵌入,利用预设的自注意力机制及可学习权重矩阵计算处理,生成相应的目标权重矩阵;

32、调整处理模块,用于利用所述目标权重矩阵调整处理各所述句子嵌入,生成相应的句子嵌入表示;

33、信息生成模块,用于将各所述句子嵌入表示输入分类器,生成所述目标文本的主题边界信息;

34、主题分割模块,用于基于所述主题边界信息,对所述目标文本进行主题分割。

35、一种计算机设备,其中,所述计算机设备包括至少一个处理器;以及,

36、与所述至少一个处理器通信连接的存储器;其中,

37、所述存储器上存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行时,可实现如上述任一项所述的文本主题分割方法。

38、一种非易失性计算机可读存储介质,其中,所述非易失性计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时,可实现如上述任一项所述的文本主题分割方法。

39、相较于现有技术,本发明提供了一种文本主题分割方法、系统、计算机设备以及非易失性计算机可读存储介质,其中,所述方法包括:利用预训练的transformer模型对目标文本进行嵌入处理,生成多个句子嵌入;基于各所述句子嵌入,利用预设的自注意力机制及可学习权重矩阵计算处理,生成相应的目标权重矩阵;利用所述目标权重矩阵调整处理各所述句子嵌入,生成相应的句子嵌入表示;将各所述句子嵌入表示输入分类器,生成所述目标文本的主题边界信息;基于所述主题边界信息,对所述目标文本进行主题分割。这样,通过本发明的方法可有效提高文本主题分割的准确性及可靠性。


技术特征:

1.一种文本主题分割方法,其特征在于,包括:

2.根据权利要求1所述的文本主题分割方法,其特征在于,所述利用预训练的transformer模型对目标文本进行嵌入处理,生成多个句子嵌入,包括:

3.根据权利要求2所述的文本主题分割方法,其特征在于,所述基于各所述句子嵌入,利用预设的自注意力机制及可学习权重矩阵计算处理,生成相应的目标权重矩阵,包括:

4.根据权利要求3所述的文本主题分割方法,其特征在于,所述利用所述目标权重矩阵调整处理各所述句子嵌入,生成相应的句子嵌入表示,包括:

5.根据权利要求4所述的文本主题分割方法,其特征在于,所述将各所述句子嵌入表示输入分类器,生成所述目标文本的主题边界信息,包括:

6.根据权利要求5所述的文本主题分割方法,其特征在于,所述基于所述主题边界信息,对所述目标文本进行主题分割,包括:

7.根据权利要求3-6任一项所述的文本主题分割方法,其特征在于,所述基于所述自注意力矩阵及预设的可学习权重矩阵,生成相应的目标权重矩阵,包括:

8.一种文本主题分割系统,其特征在于,包括:

9.一种计算机设备,其特征在于,所述计算机设备包括至少一个处理器;以及,

10.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时,可实现如权利要求1-7任一项所述的文本主题分割方法。


技术总结
本发明公开了文本主题分割方法、系统、计算机设备及存储介质,涉及人工智能技术领域,应用于金融相关的智能客服场景中,其中,所述方法包括:利用预训练的Transformer模型对目标文本进行嵌入处理,生成多个句子嵌入;基于各所述句子嵌入,利用预设的自注意力机制及可学习权重矩阵计算处理,生成相应的目标权重矩阵;利用所述目标权重矩阵调整处理各所述句子嵌入,生成相应的句子嵌入表示;将各所述句子嵌入表示输入分类器,生成所述目标文本的主题边界信息;基于所述主题边界信息,对所述目标文本进行主题分割。通过本发明的方法可有效提高文本主题分割的准确性及可靠性。

技术研发人员:唐小初,冉俊豪,舒畅,陈又新
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23486.html