本发明涉及情绪识别，具体而言，涉及一种基于言语和生理特征对对话情绪进行实时分析的系统。
背景技术：
1、情绪识别是人工智能和机器学习领域的一个研究方向，旨在使计算机能够识别、理解和响应人类的情绪状态。现有的情绪分析系统主要是通过生理特征分析或者对话语音的语义分析实现的，生理特征主要包括面部表情和肢体动作，这种分析方式都是需要提前使用大众的实测数据对分析模型进行预训练的。但是，被分析对象在对话方式和生理表征上都可能会有一些个性化的特点，而这些特点不同于大众的普遍情况时，单纯依靠上述任一种方式获得的情绪分析结果，都容易出现错误。
2、于是，如何将对言语的语义分析和对生理特征的分析进行有机结合，以获得更为准确的情绪分析结果，是目前亟需解决的技术问题。
技术实现思路
1、为了至少解决上述背景技术中存在的技术问题，本发明提供了一种基于言语和生理特征对对话情绪进行实时分析的系统、电子设备、计算机存储介质及计算机程序产品。
2、本发明提供了一种基于言语和生理特征对对话情绪进行实时分析的系统，所述系统包括音频采集模块、生理特征采集模块、情绪分析模块，所述情绪分析模块分别与所述音频采集模块、所述生理特征采集模块电连接；
3、所述音频采集模块，用于采集用户对话过程中的言语音频数据，并从中提取得出言语特征；
4、所述生理特征采集模块，用于通过光学检测器采集用户对话过程中的生理图像，并从中提取得出生理特征，所述生理特征包括面部特征数据和肢体动作特征数据；
5、所述情绪分析模块，用于对所述言语特征和所述生理特征进行时间配准，获得情绪特征数据，根据所述情绪特征数据对用户的实时情绪进行分类识别，并输出识别得出的情绪类型及等级。
6、在一些实施例中，所述音频采集模块，用于采集用户对话过程中的言语音频数据，并从中提取得出言语特征，包括：
7、所述音频采集模块采集用户对话过程中的第一言语音频数据，并从中提取得出第一言语特征；
8、将所述第一言语特征输入情绪波动模型，获得情绪波动评估值；若所述情绪波动评估值高于波动阈值，则保留所述第一言语特征，并继续从用户对话过程中的第二言语音频数据中提取得出第二言语特征；
9、将所述第一言语特征和所述第二言语特征作为所述言语特征。
10、在一些实施例中，所述生理特征采集模块，用于通过光学检测器采集用户对话过程中的生理图像，并从中提取得出生理特征，包括：
11、所述生理特征采集模块通过光学检测器采集用户对话过程中的生理图像，从所述生理图像中识别得出面部图像、躯体图像和肢体图像；
12、对所述面部图像进行面部动态特征提取，获得所述面部特征数据；
13、对所述躯体图像、所述肢体图像分别进行躯体动态特征和肢体动态特征的提取，将二者进行融合获得所述肢体动作特征数据。
14、在一些实施例中，所述情绪分析模块，用于对所述言语特征和所述生理特征进行时间配准，包括：
15、根据采集时刻将所述言语特征和所述生理特征进行对齐配准，再使用预设的时间框从所述言语特征和所述生理特征中分别截取得出目标言语特征和目标生理特征；
16、其中，所述时间框是根据所述第一言语特征确定得出的。
17、在一些实施例中，所述时间框的确定方式如下：
18、获取涉及多个用户的历史言语特征和历史生理特征，计算各所述历史生理特征与所述历史言语特征的时间偏差值，对全部所述时间偏差值拟合得出时间偏差等效值；
19、根据所述时间偏差等效值确定得出所述时间框的初始时长；
20、将所述第一言语特征输入情绪识别模型，所述情绪识别模型据此预测得出若干初步情绪类型及对应的匹配值；
21、若任一所述匹配值高于匹配阈值，则使用第一系数乘以所述初始时长，获得第一目标时长；若各所述匹配值均低于匹配阈值，则计算各所述匹配值的平均值，根据所述平均值确定得出第二系数，使用所述第二系数乘以所述初始时长，获得第二目标时长；其中，所述第一系数小于所述第二系数；
22、将所述第一目标时长或所述第二目标时长确定为所述时间框的时长。
23、在一些实施例中，所述使用预设的时间框从所述言语特征和所述生理特征中分别截取得出目标言语特征和目标生理特征，包括：
24、使用与所述初始时长对应的时间框从所述生理特征中截取得出所述目标生理特征，以及，使用与第一目标时长或所述第二目标时长对应的时间框从所述言语特征中截取得出所述目标言语特征。
25、在一些实施例中，所述情绪分析模块，根据所述情绪特征数据对用户的实时情绪进行分类识别，并输出识别得出的情绪类型及等级，包括：
26、将所述情绪特征数据输入至所述情绪识别模型，所述情绪识别模型输出该用户的情绪类型及等级，即完成对该用户的实时情绪的分类识别；
27、其中，所述情绪识别模型基于transformer实现。
28、本发明还提供了一种电子设备，应用于前述任一项所述的一种基于言语和生理特征对对话情绪进行实时分析的系统；该电子设备包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器可调用所述存储器中存储的所述可执行程序代码。
29、本发明还提供了一种计算机存储介质，应用于前述任一项所述的一种基于言语和生理特征对对话情绪进行实时分析的系统；该存储介质上存储有计算机程序，该计算机程序可被处理器调用运行。
30、本发明还提供了一种计算机程序产品，应用于前述任一项所述的一种基于言语和生理特征对对话情绪进行实时分析的系统；该计算机程序产品包含可被处理器调用执行的计算机程序。
31、本发明的有益效果在于：
32、本发明的方案综合了语言特征和生理特征两方面的情绪特征来分析用户的情绪，获得的分析结果更为准确可靠。同时，本发明对该实际情况进行了考虑，通过对言语特征和生理特征进行时间配准，实现了将归属于同一种情绪的言语特征和生理特征进行关联归属，从而获得尽可能少的包含非情绪特征的情绪特征数据，可有效提升情绪识别的准确性。
1.一种基于言语和生理特征对对话情绪进行实时分析的系统，其特征在于：所述系统包括音频采集模块、生理特征采集模块、情绪分析模块，所述情绪分析模块分别与所述音频采集模块、所述生理特征采集模块电连接；
2.根据权利要求1所述的一种基于言语和生理特征对对话情绪进行实时分析的系统，其特征在于：所述音频采集模块，用于采集用户对话过程中的言语音频数据，并从中提取得出言语特征，包括：
3.根据权利要求1所述的一种基于言语和生理特征对对话情绪进行实时分析的系统，其特征在于：所述生理特征采集模块，用于通过光学检测器采集用户对话过程中的生理图像，并从中提取得出生理特征，包括：
4.根据权利要求2所述的一种基于言语和生理特征对对话情绪进行实时分析的系统，其特征在于：所述情绪分析模块，用于对所述言语特征和所述生理特征进行时间配准，包括：
5.根据权利要求4所述的一种基于言语和生理特征对对话情绪进行实时分析的系统，其特征在于：所述时间框的确定方式如下：
6.根据权利要求5所述的一种基于言语和生理特征对对话情绪进行实时分析的系统，其特征在于：所述使用预设的时间框从所述言语特征和所述生理特征中分别截取得出目标言语特征和目标生理特征，包括：
7.根据权利要求5所述的一种基于言语和生理特征对对话情绪进行实时分析的系统，其特征在于：所述情绪分析模块，根据所述情绪特征数据对用户的实时情绪进行分类识别，并输出识别得出的情绪类型及等级，包括：
8.一种电子设备，其特征在于：应用于权利要求1-7任一项所述的一种基于言语和生理特征对对话情绪进行实时分析的系统；该电子设备包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器可调用所述存储器中存储的所述可执行程序代码。
9.一种计算机存储介质，其特征在于：应用于权利要求1-7任一项所述的一种基于言语和生理特征对对话情绪进行实时分析的系统；该存储介质上存储有计算机程序，该计算机程序可被处理器调用运行。
10.一种计算机程序产品，其特征在于：应用于权利要求1-7任一项所述的一种基于言语和生理特征对对话情绪进行实时分析的系统；该计算机程序产品包含可被处理器调用执行的计算机程序。
