本发明属于语言处理，特别是涉及到一种融合语义和句法信息的实体关系抽取方法。
背景技术：
1、目前，关系抽取任务是对文本中众多实体间关系进行分类，从而有效挖掘文本间的信息，并为下游任务，如图谱构建、问答系统、搜索引擎提供支持。但是，一般抽取算法受实体间距离影响较大，难以充分挖掘实体间长距离依赖信息。而基于图的关系抽取虽然能够为实体间向量提供额外信息，但过于依赖于外部语法器构建的数据结构会参杂不利实体间交互的噪声，从而影响关系抽取的效果，对下游任务造成影响。
2、因此现有技术当中亟需要一种新型的技术方案来解决这一问题。
技术实现思路
1、本发明所要解决的技术问题是：提供一种融合语义和句法信息的实体关系抽取方法用于解决现有的抽取算法受实体间距离、噪声等影响较大，关系抽取的准确性差的技术问题。
2、一种融合语义和句法信息的实体关系抽取方法，包括以下步骤，并且以下步骤顺次进行：
3、步骤一、建立bert编码层，文本信息通过bert编码层进行编码，转换为实体对应的字向量信息；
4、步骤二、建立消息传播模块，所述消息传播模块包括图神经网络gcn、基于自注意力池化层的图卷积模块sag以及残差收缩模块，图神经网络gcn中利用外部语法解析器构建依存语法图，该图结构接受来自bert编码后的字向量信息，然后通过消息传播模块得到向量后，与bert编码后的实体向量进行拼接；
5、步骤三、将步骤二拼接后的向量通过解码层生成预测实体的标签矩阵，获得预测实体对的关系；
6、步骤四、引入损失函数，通过插值预测的方法计算指定实体间关系的损失值，引入实体的类型来限制实体间的关系分类，通过预先定义的实体类型关系，并指定无关实体间的分类向量，设置掩码机制计算并获得指定实体间关系的损失值，获得融合语义和句法信息的实体关系。
7、所述步骤一中bert编码层的具体工作步骤为：
8、文本信息经过bert编码层的encoder得到具有文本数字化表达的序列编码，再经过bert编码层的多层transformer结构，使用多头自注意力机制及前向传播模块学习并获得每一个字的向量表示；所述自注意力机制将输入序列l利用3个可学习的参数矩阵得到相应的查询矩阵q，键矩阵k和值矩阵v，如公式(1)所示：
9、q＝l·wq，k＝l·wk，v＝l·wv (1)；
10、其中，wq，wk，wv对应3种矩阵的可学习参数；
11、计算每一个head在值向量的注意力得分并与值矩阵v相乘，得到一个head的向量输出表示；经过多个head的计算，并拼接在一起，输出该序列的向量表示：
12、
13、其中，ai表示第i个头的输出向量；t表示转置操作；dk表示序列的长度；qi表示第i个头中查询矩阵；ki表示第i个头中键矩阵；vi表示第i个头值矩阵；
14、在得到文本信息的各向量后，利用第k个实体所在文本位置{i,j}∈(0,dk)得到对应的实体向量，最后经过平均操作，得到实体向量化表达：
15、ek＝mean([m；<i,j>]) (3)；
16、其中，ek代表位置在{i,j}且索引为k的实体向量；i和j分别代表实体的头尾位置；mean代表对矩阵指定维度平均；m表示句子向量。
17、所述步骤二中的依存语法图中采用以下方法减少外部语法解析器造成的错误传播：首先，使用词典方式在依存语法图的模型中预定义实体，并将实体设置为高频项，以便在分词时更多关注预先定义的信息；其次，使用基于自注意力池化层的图卷积模块sag，将注意力机制与卷积操作相结合；最后加入残差收缩模块，使用学习阈值对节点内部向量进行软阈值处理。
18、所述基于注意力池化层的图卷积模块sag是利用节点的邻居信息来更新节点的表示，每个节点的表示通过融合其邻居节点的特征得到，融合后的节点特征如下公式(4)表示：
19、
20、其中，hl+1∈rn×d代表第l+1层的节点向量；为的度矩阵；wl是第l层的权重矩阵；表示邻接矩阵和单位矩阵的和；hl表示l层的节点向量。
21、所述注意力机制与卷积操作相结合的具体方法为：
22、首先将bert编码层生成的每一个节点向量进行平均处理，得到输入向量，然后，将依存语法图的节点表示和邻接矩阵输入到图卷积网络中，并与可学习注意力参数矩阵m相乘，得到融合节点信息与结构信息的节点重要性矩阵，如公式(5)所示：
23、
24、al＝al+i
25、其中，tanh激活函数；al为图l层的邻接矩阵；i为单位矩阵，i∈{0,1}n×n；ml+1为注意力矩阵，ml+1∈rd×1；rank是节点重要性系数排列，rank∈rn×1；
26、为了丢弃无关的节点特征，增加实体节点的特征表示，将rank序列中值小于设定阈值的节点所在的邻接矩阵a行列置为0，以达到下一层全局消息传递过程中不对节点信息造成影响的目的，具体如式(6)所示：
27、id＝top_rank(rank,[k·n]) (6)；
28、al+1＝change(al,id)
29、其中，top_rank为排序函数；k为当前层节点占前一层节点数的比例系数；n为节点个数；change为邻接矩阵变换函数；al+1表示下一层图传播的邻接矩阵；最终，经过图卷积模块后的下一层输出表示为：
30、
31、所述步骤三中解码层的解码步骤为：
32、首先，利用id索引在依存句法图中找到实体的节点向量，并与bert编码层的字词向量信息拼接得到最终实体向量；其次，采用实体间两两拼接的方式获取实体间的特征信息，并使用线性层将实体间特征信息映射到关系分类，具体公式表示如下：
33、
34、其中，ea,b表示索引为a,b的实体特征向量；ga,b和ha,b分别表示图中节点向量和字词向量；[；]代表向量间的拼接；ma,b代表解码矩阵内部的分类值；w、b均是线性层的参数，w∈rd×n，b∈rd×n。
35、所述步骤四中损失函数通过设置掩码机制获得，如公式(10)所示：
36、loss＝w·celgcn(p1,l)+(1-w)celbert(p2,l) (10)；
37、其中，w为权重系数；cel为表示交叉熵损失函数crossentropy；p1和p2分别表示图神经网络gcn和bert编码层输出的预测值；l为真实值标签；
38、其中，
39、celgcn(p1,l)＝cel(p1·id_mask,l·id_mask)
40、id_mask＝r＜entityi,entityj＞ (11)；
41、公式中，id_mask为实体间的掩码；r为判断是否为预先定义的实体类型的函数；entityi为实体i类别；entityj为实体j类别。
42、通过上述设计方案，本发明可以带来如下有益效果：
43、本发明提出了一种基于图神经网络的实体关系抽取方法，通过学习句子中的信息，实现了语义和句法信息的融合，提升了实体间关系分类的准确性。本发明主要通过结合外部语法器与词向量信息，使用自注意力池化层的图卷积神经网络与残差收缩网络减少文本中噪声的影响，提升实体间长距离依赖。同时，使用插值预测的方式计算损失，完善bert与图神经网络的交互。通过实验表明，本发明充分融合语义向量和句法结构信息，使得关系抽取效果相较于其他基准模型得到了显著提升，减轻了句子内实体间长距离关系识别率底及含有的噪声问题。
44、本发明展示了通过结合bert编码层与图神经网络，并融合语义和句法信息来提升关系抽取效果的潜力，为未来的研究提供了有价值的参考和方向。
1.一种融合语义和句法信息的实体关系抽取方法，其特征是：包括以下步骤，并且以下步骤顺次进行：
2.根据权利要求1所述的一种融合语义和句法信息的实体关系抽取方法，其特征是：所述步骤一中bert编码层的具体工作步骤为：
3.根据权利要求1所述的一种融合语义和句法信息的实体关系抽取方法，其特征是：所述步骤二中的依存语法图中采用以下方法减少外部语法解析器造成的错误传播：首先，使用词典方式在依存语法图的模型中预定义实体，并将实体设置为高频项，以便在分词时更多关注预先定义的信息；其次，使用基于自注意力池化层的图卷积模块sag，将注意力机制与卷积操作相结合；最后加入残差收缩模块，使用学习阈值对节点内部向量进行软阈值处理。
4.根据权利要求3所述的一种融合语义和句法信息的实体关系抽取方法，其特征是：所述基于注意力池化层的图卷积模块sag是利用节点的邻居信息来更新节点的表示，每个节点的表示通过融合其邻居节点的特征得到，融合后的节点特征如下公式(4)表示：
5.根据权利要求4所述的一种融合语义和句法信息的实体关系抽取方法，其特征是：所述注意力机制与卷积操作相结合的具体方法为：
6.根据权利要求1所述的一种融合语义和句法信息的实体关系抽取方法，其特征是：所述步骤三中解码层的解码步骤为：
7.根据权利要求1所述的一种融合语义和句法信息的实体关系抽取方法，其特征是：所述步骤四中损失函数通过设置掩码机制获得，如公式(10)所示：
