本发明涉及脑机信号分析的，特别是涉及一种基于脑电信号的情绪识别方法及系统、存储介质及电子设备。
背景技术：
1、脑机接口(brain computer interface，bci)是指人或动物大脑与外部设备间创建的直接连接，实现脑与外部设备的信息交互的一种新型人机接口技术。可以看出，脑机接口是一种特殊的通讯设备，它联系了人脑和外部终端，因此它也具有一般通讯设备的结构。
2、情感检测是实现全面人工智能的一项重要任务。如何让外部设备准备识别到用户的情感状态，是定义人机交互新范式的重要途径之一。人的情绪状态如高兴、生气、吃惊、恐惧、厌恶以及悲伤等许多类别都能够反映人对外在刺激的态度和潜在意识，这也正是将其应用于实际的机理所在。在虚拟现实、游戏和教育方面，情绪识别系统可以根据用户的情绪状态调整交互模式以支持个性化体验和学习，有效提高用户参与度和满意度。在生物医学方面，通过分析脑电信号等生理数据，系统可以协助医生更精准地诊断和治疗疾病，提高医务人员的工作效率和医疗服务水平。在人机交互方面，包括但不限于虚拟助理、社交机器人、智能客服，准确识别用户情绪是实现自然智能交互的关键因素之一。因此，情绪识别技术的发展对理解和处理个体情绪状态、改善人机交互体验，甚至在医学领域都具有重要的应用潜力。
3、关于情绪识别的研究最早可以追溯到麻省理工学院媒体实验室的罗莎琳德·皮卡德教授。她在研究中提出了一个名为“情感计算(affective computing)”的概念，强调了情感在人机交互中的关键作用。目前，情绪识别除了通过如表情、语气、神情等形态特征来进行分析，生理信号特别是脑电信号(electroencephalogram，eeg)因其客观真实性以及简便、无创、有效在情绪识别解决方案中受到各研究人员的广泛关注，并通过结合无线通讯技术以及高端芯片设计集成技术，能打造出可穿戴、低成本、易用便携的新型设备。
4、近年来，随着计算机视觉、自然语言处理等的快速发展，深度学习用于处理脑电数据受到了广泛关注，且其凭借强大的计算学习能力来学习样本的固有特征，通过大量的示例标签训练神经网络，并根据检测到的结果调整神经元之间连接的权重，取得了不错的效果。但是，大多数基于卷积神经网络(convolutional neural network，cnn)和递归神经网络(recurrent neural network，rnn)或是其混合的结构仍然未充分利用深度学习自动提取特征的能力。cnn在提取局部特征时，未能充分考虑空间域特征，通常需要采用融合空间特征提取方法或引入空间注意力机制等策略。然而，这些额外的处理方式为整个模型引入了更大的计算复杂度以及增加了模型的训练和推理成本。此外，长短期记忆递归(longshort term memory，lstm)神经网络处理长序列信号面临梯度消失或爆炸的问题，这也对其应用造成了挑战。
技术实现思路
1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于脑电信号的情绪识别方法及系统、存储介质及电子设备，基于卷积神经网络和transformer的混合结构，利用脑电信号实现了准确的情绪识别。
2、第一方面，本发明提供一种基于脑电信号的情绪识别方法，所述方法包括以下步骤：获取脑电信号及对应的标签信息；基于脑电信号的电极位置对所述脑电信号进行预处理，获取三维脑特征图；基于所述三维脑特征图和所述标签信息构成脑电信号数据集；基于所述脑电信号数据集训练情绪识别深度模型，以基于训练好的情绪识别深度模型实现情绪识别；其中所述情绪识别深度模型包括卷积神经网络模块、transformer模块和分类模块，所述卷积神经网络模块用于提取所述脑电信号的时间特征和空间特征；所述transformer模块用于基于所述时间特征和所述空间特征获取所述脑电信号的全局特征序列，所述分类模块用于基于所述全局特征序列获取所述脑电信号的情绪分类结果。
3、在第一方面的一种实现方式中，获取脑电信号的标签信息包括以下步骤：
4、基于效价唤醒模型获取所述脑电信号的效价等级和唤醒等级；
5、当所述效价等级大于第一预设阈值时，判定所述脑电信号的效价标签为高效价；当所述效价等级小于所述第一预设阈值时，判定所述脑电信号的效价标签为低效价；
6、当所述唤醒等级大于第二预设阈值时，判定所述脑电信号的唤醒标签为高唤醒；当所述唤醒等级小于所述第二预设阈值时，判定所述脑电信号的唤醒标签为低唤醒；
7、将所述脑电信号的效价标签和唤醒标签组成所述标签信息。
8、在第一方面的一种实现方式中，基于脑电信号的电极位置对所述脑电信号进行预处理，获取三维脑特征图包括以下步骤；
9、对所述脑电信号进行带通滤波；
10、将带通滤波后的脑电信号进行零均值化处理，获取归一化的脑电信号；
11、针对特定频段下的所述归一化的脑电信号，采用滑动窗口获取一维脑电向量；
12、将电极位置信息映射至各通道下所述一维脑电向量构成的矩阵，获取二维矩阵；
13、基于多个通道上的所述二维矩阵构成所述三维脑特征图。
14、在第一方面的一种实现方式中，所述卷积神经网络模块包括三层连续的三维时空卷积核，所述时空卷积核包括时间卷积核和空间卷积核。
15、在第一方面的一种实现方式中，所述transformer模块采用自注意力机制，且通过输入位置编码、所述时间特征和所述空间特征获取所述脑电信号的全局特征序列。
16、在第一方面的一种实现方式中，所述位置编码其中pos表示脑电信号的位置信息，i表示位置编码的维度索引，d表示位置编码的维度。
17、在第一方面的一种实现方式中，所述分类模块包括相连的全连接层和softmax函数。
18、第二方面，本发明提供一种基于脑电信号的情绪识别系统，所述系统包括第一获取模块、第二获取模块、构成模块和训练识别模块；
19、所述第一获取模块用于获取脑电信号及对应的标签信息；
20、所述第二获取模块用于基于脑电信号的电极位置对所述脑电信号进行预处理，获取三维脑特征图；
21、所述构成模块用于基于所述三维脑特征图和所述标签信息构成脑电信号数据集；
22、所述训练识别模块用于基于所述脑电信号数据集训练情绪识别深度模型，以基于训练好的情绪识别深度模型实现情绪识别；其中所述情绪识别深度模型包括卷积神经网络模块、transformer模块和分类模块，所述卷积神经网络模块用于提取所述脑电信号的时间特征和空间特征；所述transformer模块用于基于所述时间特征和所述空间特征获取所述脑电信号的全局特征序列，所述分类模块用于基于所述全局特征序列获取所述脑电信号的情绪分类结果。
23、第三方面，本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于脑电信号的情绪识别方法。
24、第四方面，本发明提供一种电子设备，包括：处理器及存储器；
25、所述存储器用于存储计算机程序；
26、所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的基于脑电信号的情绪识别方法。
27、如上所述，本发明所述的基于脑电信号的情绪识别方法及系统、存储介质及电子设备，具有以下有益效果：
28、(1)通过对脑电信号进行三维卷积处理，并根据脑电极位置映射脑电信号中保留的空间特征，更好的捕捉到脑电数据中的时域和空间域特征，并通过引入transformer的自注意力机制，将特征序列融合起来，有效的解决了lstm在长时间序列信号仍存在的梯度消失或梯度爆炸而导致记忆减弱的问题；
29、(2)通过设置批量归一化层、激活层和丢失层，能够加速训练收敛过程并防止过拟合现象；
30、(3)有效的结合了cnn和transformer的优点，对脑电信号的情绪分类识别效果相比传统结构有了提升；
31、(4)解决了传统cnn和rnn网络结构以及其混合结构特征提取存在的缺陷及局限，适合于提取脑电信号这种非线性长序列信号的多维特征。
1.一种基于脑电信号的情绪识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于脑电信号的情绪识别方法，其特征在于，获取脑电信号的标签信息包括以下步骤：
3.根据权利要求1所述的基于脑电信号的情绪识别方法，其特征在于，基于脑电信号的电极位置对所述脑电信号进行预处理，获取三维脑特征图包括以下步骤；
4.根据权利要求1所述的基于脑电信号的情绪识别方法，其特征在于，所述卷积神经网络模块包括三层连续的三维时空卷积核，所述时空卷积核包括时间卷积核和空间卷积核。
5.根据权利要求1所述的基于脑电信号的情绪识别方法，其特征在于，所述transformer模块采用自注意力机制，且通过输入位置编码、所述时间特征和所述空间特征获取所述脑电信号的全局特征序列。
6.根据权利要求5所述的基于脑电信号的情绪识别方法，其特征在于，所述位置编码其中pos表示脑电信号的位置信息，i表示位置编码的维度索引，d表示位置编码的维度。
7.根据权利要求1所述的基于脑电信号的情绪识别方法，其特征在于，所述分类模块包括相连的全连接层和softmax函数。
8.一种基于脑电信号的情绪识别系统，其特征在于，所述系统包括第一获取模块、第二获取模块、构成模块和训练识别模块；
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的基于脑电信号的情绪识别方法。
10.一种电子设备，其特征在于，包括：处理器及存储器；
