本发明涉及自然语言处理，特别是一种语义理解与问答的匹配方法及其系统。
背景技术：
1、当前文字处理功能在理解长文本、复杂语境以及语义逻辑推理等方面仍有缺陷，一方面在于上下文信息的关联分析还有待增强，特别是一些核心字段的词语，还停留在利用对常规数据进行关键标识判断过程，其效率和准确性一般；另一方面是在答案的生成和匹配上，对于答案的生成与质量控制，映射关系还有待进步和提高，在流畅度控制、事实一致性的方面其效果表现一般，为此我们提出一种针对优化核心字段的上下文关联分析以及答案的匹配生成方面的语义理解与问答的匹配方法及其系统。
技术实现思路
1、鉴于上述现有的自然语言处理数据处理中存在的问题，提出了本发明。
2、因此，本发明其中的一个目的是提供一种语义理解与问答的匹配方法及其系统，其利用深度学习模型来提取查询和文档的语义特征，捕获上下文信息和长距离依赖关系，进而实现对核心字段的上下文关联分析，并改善了答案的匹配生成机制，提高了语义分析的准确性和效率。
3、为解决上述技术问题，本发明提供如下技术方案：
4、一方面，本发明提供一种语义理解与问答的匹配方法，包括：
5、语义问答信息采集，通过词性分析对所采集的语义问答数据进行整理，获取统一格式语义问答信息，并将统一格式语义问答信息录入数据库中；
6、数据库数据处理，对统一格式语义问答信息进行字段的划分并划分出数据集，对数据集进行数据的预处理并确定；
7、语义理解优化处理，使用自然语言处理经数据预处理后的数据集，并基于深度学习模型来提取查询和文档的语义特征，捕获上下文信息和长距离依赖关系，并确定所述上下文信息和长距离依赖关系之间的映射关系，根据上下文信息和长距离依赖关系之间的映射关系进行权重赋值，选取出上下文信息中的核心字段信息，并生成核心字段的集合；
8、检索增强生成，基于从数据库检索所关联的相关信息，将检索到的所关联的相关信息与语言大模型模型相结合后，根据相似性分析生成对应的回答信息；
9、答案生成与质量控制，响应所述回答信息，并基于所述语言大模型模型所检索到的信息，确定并根据回答信息中的组织结构特征、流畅度特征、以及事实一致性特征进行语义字段的优化后，生成优化后的答案信息并输出。
10、作为本发明的一种优选方案，其中：所述基于深度学习模型来提取查询和文档的语义特征，具体采用聚类算法对数据集进行聚类处理，将完整的数据集根据提取查询和文档数据分若干个类别，并通过k值聚类算法确定每一个类别的核点，将核点作为该类别的优化聚类中心，并计算核点与优化聚类中心的欧式距离值，将所述欧式距离值确定为聚类样本与训练样本之间的距离度量，并将聚类样本与训练样本之间的距离度量作为预测待提取查询和文档的语义特征样本的数值输出；所述聚类样本与训练样本之间的距离度量计算如下：
11、
12、其中，dist(xi,yj)为聚类样本xi与训练样本之间的距离度量值，xik为第k个聚类样本xi，yjk为第k个训练样本yj。
13、作为本发明的一种优选方案，其中：根据上下文信息和长距离依赖关系之间的映射关系进行权重赋值，选取出上下文信息中的核心字段信息，并生成核心字段的集合，具体通过分析核心字段信息的区分度来确定映射关系的权重赋值，如下：
14、
15、其中，n表示第i个聚类样本xi，fi表示为数据集聚类样本xi出现的频率，表示聚类样本xi作为区分的对数值，m表示为聚类样本xi被记录的核心字段数量，hi表示第i个聚类样本xi的区分值；m表是聚类样本xi中核心字段的总数，qi表示第i个聚类样本xi的区分度，即确定为核心字段信息在上下文信息中的权重赋值。
16、作为本发明的一种优选方案，其中：通过获取所述核心字段信息在上下文信息中的权重赋值，构建核心字段优化向量模型，具体地采用bert-base-chinese模型作为基础模型，采用余弦距离作为损失函数，基于所述提取查询和文档后的数据集，训练得到基于sentence-bert的向量表示模型参数进行计算生成优化后的核心字段信息，并同步生成优化后核心字段的集合，进行后续的检索增强生成。
17、作为本发明的一种优选方案，其中：在语义理解优化处理中，选取出上下文信息中的核心字段信息还包括对核心字段信息匹配的排序结果进行评估，具体地使用精确率、召回率和f1值的均值作为评价指标，如下：
18、
19、其中，tp为核心字段信息预测为正例且标签为正例的样本数，tp为核心字段信息预测为正例但标签为负例的样本数，fn为核心字段信息预测负正例但标签为正例的样本数。
20、作为本发明的一种优选方案，其中：将检索到的所关联的相关信息与语言大模型模型相结合后，结合通过基于语言大模型模型构建答案生成匹配的虚拟专家组，虚拟专家组将所关联的相关信息进行确定后，根据经典协方差交叉融合算法对所关联的相关信息进行融合选取，确定所述语言大模型模型所检索到的信息，作为语言大模型模型的回答信息。
21、作为本发明的一种优选方案，其中：在答案生成与质量控制中，确定并根据回答信息中的组织结构特征、流畅度特征、以及事实一致性特征进行语义字段的优化，具体如下：
22、
23、其中，gi为第i个回答信息的评估值；wp表示回答信息在语言大模型模型所检索到的信息中所占的权重系数，即语言大模型模型所检索到的信息对回答信息的相似度；分别表示组织结构特征、流畅度特征、以及事实一致性特征中三个特征所对应的α、β与χ指标的权重系数；u(xi)表示回答信息的准确性参数，u表示回答信息的准确性参数的集合。
24、作为本发明的一种优选方案，其中：所述回答信息的准确性参数的生成，将判断准确度的深度学习神经网络模型作为深度学习神经网络模型，并将回答信息，具体通过下式进行分析得出，如下：
25、
26、其中，u(xi)ek+1表示第k+1层的e项神经元的回答信息的准确性参数输出，d表示第d个神经元的项数，表示第k层的神经元d与第k+1层的神经元e之间的连接权重值，表示第k+1层的e项神经元的偏置项，sig[*]表示激活函数。
27、作为本发明的一种优选方案，其中：确定并根据回答信息中的组织结构特征、流畅度特征、以及事实一致性特征进行语义字段的优化时，还包括对所生成的优化后的答案信息进行基于注意力的知识蒸馏，并生成高质量答案信息，知识蒸馏的损失函数具体如下：
28、
29、其中，kl，h分别表示kl的散度和交叉熵，gi为模型参数，a为超参数，且控制真实标签交叉熵与模分布与语言大模型模型输出分布kl散度的比例，ps为语义理解优化模块所生成回答信息的参数，为语言大模型模型的平滑值，为语义理解优化模块所生成回答信息的参数的平滑值。
30、一方面，本发明提供一种语义理解与问答的匹配方法的系统，包括：
31、获取模块，用于通过词性分析对所采集的语义问答数据进行整理，获取统一格式语义问答信息，并将统一格式语义问答信息录入数据库中；
32、数据库处理模块，用于对统一格式语义问答信息进行字段的划分并划分出数据集，对数据集进行数据的预处理并确定；
33、语义理解优化模块，用于使用自然语言处理经数据预处理后的数据集，并基于深度学习模型来提取查询和文档的语义特征，捕获上下文信息和长距离依赖关系，并确定所述上下文信息和长距离依赖关系之间的映射关系，根据上下文信息和长距离依赖关系之间的映射关系进行权重赋值，选取出上下文信息中的核心字段信息，并生成核心字段的集合；
34、检索增强生成模块，用于基于从数据库检索所关联的相关信息，将检索到的所关联的相关信息与语言大模型模型相结合后，根据相似性分析生成对应的回答信息；
35、答案生成与质量控制模块，用于响应所述回答信息，并基于所述语言大模型模型所检索到的信息，确定并根据回答信息中的组织结构特征、流畅度特征、以及事实一致性特征进行语义字段的优化后，生成优化后的答案信息并输出。
36、本发明的有益效果：本发明利用深度学习模型来提取查询和文档的语义特征，捕获上下文信息和长距离依赖关系，进而实现对核心字段的上下文关联分析，并改善了答案的匹配生成机制，引入了对回答信息多维度的评估和匹配，更加地简洁、逻辑合理和准确，以及通过基于注意力的知识蒸馏生成高质量答案信息，进一步地提高了语义分析答案结果生成的准确性和效率。
1.一种语义理解与问答的匹配方法，其特征在于，包括：
2.如权利要求1所述的一种语义理解与问答的匹配方法，其特征在于，所述基于深度学习模型来提取查询和文档的语义特征，具体采用聚类算法对数据集进行聚类处理，将完整的数据集根据提取查询和文档数据分若干个类别，并通过k值聚类算法确定每一个类别的核点，将核点作为该类别的优化聚类中心，并计算核点与优化聚类中心的欧式距离值，将所述欧式距离值确定为聚类样本与训练样本之间的距离度量，并将聚类样本与训练样本之间的距离度量作为预测待提取查询和文档的语义特征样本的数值输出；所述聚类样本与训练样本之间的距离度量计算如下：
3.如权利要求2所述的一种语义理解与问答的匹配方法，其特征在于，根据上下文信息和长距离依赖关系之间的映射关系进行权重赋值，选取出上下文信息中的核心字段信息，并生成核心字段的集合，具体通过分析核心字段信息的区分度来确定映射关系的权重赋值，如下：
4.如权利要求3所述的一种语义理解与问答的匹配方法，其特征在于，还包括：通过获取所述核心字段信息在上下文信息中的权重赋值，构建核心字段优化向量模型，具体地采用bert-base-chinese模型作为基础模型，采用余弦距离作为损失函数，基于所述提取查询和文档后的数据集，训练得到基于sentence-bert的向量表示模型参数进行计算生成优化后的核心字段信息，并同步生成优化后核心字段的集合，进行后续的检索增强生成。
5.如权利要求1所述的一种语义理解与问答的匹配方法，其特征在于，在语义理解优化处理中，选取出上下文信息中的核心字段信息还包括对核心字段信息匹配的排序结果进行评估，具体地使用精确率、召回率和f1值的均值作为评价指标，如下：
6.如权利要求1所述的一种语义理解与问答的匹配方法，其特征在于，将检索到的所关联的相关信息与语言大模型模型相结合后，结合通过基于语言大模型模型构建答案生成匹配的虚拟专家组，虚拟专家组将所关联的相关信息进行确定后，根据经典协方差交叉融合算法对所关联的相关信息进行融合选取，确定所述语言大模型模型所检索到的信息，作为语言大模型模型的回答信息。
7.如权利要求1所述的一种语义理解与问答的匹配方法，其特征在于，在答案生成与质量控制中，确定并根据回答信息中的组织结构特征、流畅度特征、以及事实一致性特征进行语义字段的优化，具体如下：
8.如权利要求7所述的一种语义理解与问答的匹配方法，其特征在于，所述回答信息的准确性参数的生成，将判断准确度的深度学习神经网络模型作为深度学习神经网络模型，并将回答信息，具体通过下式进行分析得出，如下：
9.如权利要求8所述的一种语义理解与问答的匹配方法，其特征在于，确定并根据回答信息中的组织结构特征、流畅度特征、以及事实一致性特征进行语义字段的优化时，还包括对所生成的优化后的答案信息进行基于注意力的知识蒸馏，并生成高质量答案信息，知识蒸馏的损失函数具体如下：
10.一种应用于如权利要求1所述的一种语义理解与问答的匹配方法的系统，其特征在于，包括：
