命名实体识别方法、装置、计算机设备及存储介质与流程

专利2025-06-17  12


本申请涉及自然语言处理,尤其涉及一种命名实体识别方法、装置、计算机设备及存储介质。


背景技术:

1、命名实体识别是自然语言处理的一个基本问题,其目的在于发现文本中的命名实体以及将命名实体划分到预定义的类别,如人名、地名或组织机构名等。随着数据量的不断增大和数据形式的多样化,单一的文本数据处理已经无法满足复杂场景下的需求,因此,多模态命名实体识别技术应运而生。

2、目前,传统的多模态命名实体识别的主流研究趋势是如何有效地整合来自不同模态的信息。当前多采用基于注意力机制的双流结构,一个流处理图像,一个流处理文本,然后通过注意力层进行特征对齐和融合,最后用序列标注的方法来识别实体。但是,这些方法存在图像特征与文本特征的对齐较差的问题,无法保证复杂场景的命名实体识别的精度。

3、例如,在保险理赔场景下,传统的多模态命名实体识别无法精准地识别出患者上传的病历、检查单等医疗文本以及对应的医疗图片所包含的实体。又例如,在医疗健康领域,传统的多模态命名实体识别无法精准地识别出病历文本数据以及对应的医学影像数据所包含的实体。因此,如何提高多模态命名实体识别的准确性是目前亟待解决的问题。


技术实现思路

1、本申请实施例提供一种命名实体识别方法、装置、计算机设备及存储介质,旨在提高多模态命名实体识别的准确性。

2、第一方面,本申请实施例提供一种命名实体识别方法,应用于计算机设备,所述计算机设备部署有目标实体识别模型,所述目标实体识别模型包括文本编码网络、多头注意力网络、特征提取网络、特征融合层和实体识别层,所述方法包括:

3、获取待识别的目标文本以及所述目标文本对应的目标图像;

4、通过所述文本编码网络对所述目标文本进行编码,得到文本特征,通过所述多头注意力网络对所述文本特征进行网格化处理,得到目标类图像特征;

5、通过所述特征提取网络对所述目标图像进行特征提取,得到目标图像特征,所述目标类图像特征与所述目标图像特征的表现形式相同;

6、通过所述特征融合层对所述目标类图像特征和所述目标图像特征进行融合,通过所述实体识别层对融合后的特征进行实体识别,得到实体识别结果。

7、第二方面,本申请实施例还提供一种命名实体识别装置,应用于计算机设备,所述计算机设备部署有目标实体识别模型,所述目标实体识别模型包括文本编码网络、多头注意力网络、特征提取网络、特征融合层和实体识别层,所述命名实体识别装置包括:

8、获取模块,用于获取待识别的目标文本及所述目标文本对应的目标图像;

9、文本编码模块,用于通过所述文本编码网络对所述目标文本进行编码,得到目标文本特征;

10、网格化处理模块,用于通过所述多头注意力网络对所述目标文本特征进行网格化处理,得到目标类图像特征;

11、提取模块,用于通过所述特征提取网络对所述目标图像进行特征提取,得到目标图像特征,所述目标类图像特征与所述目标图像特征的表现形式相同;

12、特征融合模块,用于通过所述特征融合层对所述目标类图像特征和所述目标图像特征进行融合;

13、实体识别模块,用于通过所述实体识别层对融合后的特征进行实体识别,得到实体识别结果。

14、第三方面,本申请实施例还提供一种计算机设备,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如第一方面所述的命名实体识别方法的步骤。

15、第四方面,本申请实施例还提供一种存储介质,用于计算机可读存储,所述存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如第一方面所述的命名实体识别方法的步骤。

16、本申请实施例提供一种命名实体识别方法、装置、计算机设备及存储介质,本申请实施例通过将对目标文本编码得到的文本特征转换为目标类图像特征,并且通过特征提取网络对目标图像进行特征提取,得到目标图像特征,同时目标类图像特征和目标图像特征的表现形式相同,使得在对目标类图像特征和目标图像特征进行融合后能够很好地将文本特征与图像特征对齐,有效地聚合了多模态信息,从而使得实体识别层能够精准地对融合后的特征进行实体识别,有效地提高了复杂场景下的多模态命名实体识别的准确性。



技术特征:

1.一种命名实体识别方法,其特征在于,应用于计算机设备,所述计算机设备部署有目标实体识别模型,所述目标实体识别模型包括文本编码网络、多头注意力网络、特征提取网络、特征融合层和实体识别层,所述方法包括:

2.根据权利要求1所述的命名实体识别方法,其特征在于,所述多头注意力网络包括多头注意力层和第一多层感知机层,所述通过所述多头注意力网络对所述目标文本特征进行网格化处理,得到目标类图像特征,包括:

3.根据权利要求2所述的命名实体识别方法,其特征在于,所述多头注意力层的权重参数包括query权重矩阵和key权重矩阵,所述多头注意力层的偏置参数包括query偏置向量和key偏置向量,所述通过所述多头注意力层对所述目标文本特征进行网格化处理,得到初始类图像特征,包括:

4.根据权利要求1所述的命名实体识别方法,其特征在于,所述特征提取网络包括卷积层和第二多层感知机层,所述通过所述特征提取网络对所述目标图像进行特征提取,得到目标图像特征,包括:

5.根据权利要求1所述的命名实体识别方法,其特征在于,所述文本编码网络包括bert模型、bilstm模型和线性层,所述通过所述文本编码网络对所述目标文本进行编码,得到目标文本特征,包括:

6.根据权利要求1至5中任一项所述的命名实体识别方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的命名实体识别方法,其特征在于,所述根据所述训练样本集,将初始实体识别模型训练至收敛,得到所述目标实体识别模型,包括:

8.一种命名实体识别装置,其特征在于,应用于计算机设备,所述计算机设备部署有目标实体识别模型,所述目标实体识别模型包括文本编码网络、多头注意力网络、特征提取网络、特征融合层和实体识别层,所述命名实体识别装置包括:

9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如权利要求1至7中任一项所述的命名实体识别方法的步骤。

10.一种存储介质,用于计算机可读存储,其特征在于,所述存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的命名实体识别方法的步骤。


技术总结
本申请涉及自然语言处理领域,提供了一种命名实体识别方法、装置、计算机设备及存储介质,该方法包括:获取待识别的目标文本以及目标文本对应的目标图像;通过文本编码网络对目标文本进行编码,得到目标文本特征,通过多头注意力网络对目标文本特征进行网格化处理,得到目标类图像特征;通过特征提取网络对目标图像进行特征提取,得到目标图像特征,目标类图像特征与目标图像特征的表现形式相同;通过特征融合层对目标类图像特征和目标图像特征进行融合,通过实体识别层对融合后的特征进行实体识别,得到实体识别结果。该方法提高了多模态命名实体识别的准确性。

技术研发人员:唐小初,龚述涛,舒畅,陈又新
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-25429.html