本申请涉及人工智能,尤其涉及一种跨数据库脑电情绪识别方法、装置、设备及存储介质。
背景技术:
1、情绪是人对客观事物的态度体验以及相应的行为反应,如何客观地评估个体的情绪状况,在人机交互、疾病诊断和康复等领域具有重要意义。传统方法主要依赖于问卷调查、面部表情或语音等非生理信号进行情绪识别,主观性较强,准确率较差。脑电图(electroencephalography,eeg)作为一种生理信号,通过记录来自头皮上不同位置正在进行的大脑电极活动,能够为理解和估计情绪状态提供更加直接和客观的线索。因此,近年来,研究者致力于开发各种基于脑电图的情绪识别方法,并在跨被试、跨会话场景中取得了优异性能。
2、现有方法缺乏对跨数据集场景中的脑电情绪识别研究。由于不同脑电情绪数据库之间的分布差异巨大,将现有方法迁移至跨数据库场景中时,它们的性能会显著下降。此外,尽管目前已经有一些研究人员开始将迁移学习和域自适应技术应用于脑电情绪识别领域,但这些方法却存在数据可用性的问题,即:模型必须提前获取所有的标注源域数据和未标注的目标数据进行训练。考虑到脑电信号采集困难以及标记它们需要耗费大量的专家知识和时间,在现实应用中,提前获取标记数据进行模型训练显然是不切实际的。因此,如何构建一个通用的脑电情绪解码模型,使得模型在缺乏标注数据训练的情况下,仍然能够提取稳健、可泛化的通用脑电表征,以缓解不同数据库之间的巨大分布差异,并提高模型在跨数据库场景中的脑电情绪识别性能,是当前情感计算领域的一项巨大挑战。
技术实现思路
1、本申请实施例的目的在于提出一种跨数据库脑电情绪识别方法、装置、设备及存储介质,以在缺乏标注数据训练的情况下,能够提取稳健、可泛化的通用脑电表征,以缓解不同数据库之间的巨大分布差异,并提高在跨数据库场景中的脑电情绪识别效率和准确性。
2、为了解决上述技术问题,本申请实施例提供一种跨数据库脑电情绪识别方法,包括:
3、获取未标注的原始脑电样本,并对所述原始脑电样本进行混合掩码,得到掩码样本;
4、将所述原始脑电样本和所述掩码样本进行编码和映射嵌入处理,得到原始嵌入特征、掩码嵌入特征、原始映射嵌入特征和掩码映射嵌入特征;
5、基于所述原始脑电样本、所述掩码样本、所述原始映射嵌入特征和所述掩码映射嵌入特征进行软对比学习处理,生成软对比损失;
6、计算所述原始映射嵌入特征和所述掩码映射嵌入特征的余弦相似度,基于所述余弦相似度对所述原始嵌入特征和所述掩码嵌入特征进行加权聚合,得到重建嵌入特征;
7、对所述重建嵌入特征进行解码生成重建脑电样本,基于所述重建脑电样本与所述原始脑电样本计算生成重构损失,并基于所述重构损失和所述软对比损失进行脑电图识别模型的自监督训练,生成初始脑电情绪识别模型;
8、获取标注脑电样本,并基于所述标注脑电样本对所述初始脑电情绪识别模型的情绪分类器进行训练和优化模型参数,得到目标脑电情绪识别模型;
9、获取待测脑电样本,并基于所述目标脑电情绪识别模型对所述待测脑电样本进行情绪识别,生成目标情绪识别结果。
10、为了解决上述技术问题,本申请实施例提供一种跨数据库脑电情绪识别装置,包括:
11、样本掩码单元,用于获取未标注的原始脑电样本,并对所述原始脑电样本进行混合掩码,得到掩码样本;
12、样本嵌入单元,用于将所述原始脑电样本和所述掩码样本进行编码和映射嵌入处理,得到原始嵌入特征、掩码嵌入特征、原始映射嵌入特征和掩码映射嵌入特征;
13、软对比损失生成单元,用于基于所述原始脑电样本、所述掩码样本、所述原始映射嵌入特征和所述掩码映射嵌入特征进行软对比学习处理,生成软对比损失;
14、特征重建单元,用于计算所述原始映射嵌入特征和所述掩码映射嵌入特征的余弦相似度,基于所述余弦相似度对所述原始嵌入特征和所述掩码嵌入特征进行加权聚合,得到重建嵌入特征;
15、重构损失计算单元,用于对所述重建嵌入特征进行解码生成重建脑电样本,基于所述重建脑电样本与所述原始脑电样本计算生成重构损失,并基于所述重构损失和所述软对比损失进行脑电图识别模型的自监督训练,生成初始脑电情绪识别模型;
16、模型微调单元,用于获取标注脑电样本,并基于所述标注脑电样本对所述初始脑电情绪识别模型的情绪分类器进行训练和优化模型参数,得到目标脑电情绪识别模型;
17、情绪识别单元,用于获取待测脑电样本,并基于所述目标脑电情绪识别模型对所述待测脑电样本进行情绪识别,生成目标情绪识别结果。
18、为解决上述技术问题,本发明采用的一个技术方案是:提供一种计算机设备,包括,一个或多个处理器;存储器,用于存储一个或多个程序,使得一个或多个处理器实现上述任意一项所述的跨数据库脑电情绪识别方法。
19、为解决上述技术问题,本发明采用的一个技术方案是:一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的跨数据库脑电情绪识别方法。
20、本发明实施例提供了一种跨数据库脑电情绪识别方法、装置、设备及存储介质。其中,方法包括:获取未标注的原始脑电样本,并对所述原始脑电样本进行混合掩码,得到掩码样本;将所述原始脑电样本和所述掩码样本进行编码和映射嵌入处理,得到原始嵌入特征、掩码嵌入特征、原始映射嵌入特征和掩码映射嵌入特征;基于所述原始脑电样本、所述掩码样本、所述原始映射嵌入特征和所述掩码映射嵌入特征进行软对比学习处理,生成软对比损失;计算所述原始映射嵌入特征和所述掩码映射嵌入特征的余弦相似度,基于所述余弦相似度对所述原始嵌入特征和所述掩码嵌入特征进行加权聚合,得到重建嵌入特征;对所述重建嵌入特征进行解码生成重建脑电样本,基于所述重建脑电样本与所述原始脑电样本计算生成重构损失,并基于所述重构损失和所述软对比损失进行脑电图识别模型的自监督训练,生成初始脑电情绪识别模型;获取标注脑电样本,并基于所述标注脑电样本对所述初始脑电情绪识别模型的情绪分类器进行训练和优化模型参数,得到目标脑电情绪识别模型;获取待测脑电样本,并基于所述目标脑电情绪识别模型对所述待测脑电样本进行情绪识别,生成目标情绪识别结果。本发明实施例通过未标注的原始脑电样本进行对模型进行软对比掩码预训练,实现在缺乏标注数据训练的情况下,能够提取稳健、可泛化的通用脑电表征,以缓解不同数据库之间的巨大分布差异,并提高在跨数据库场景中的脑电情绪识别效率和准确性。
1.一种跨数据库脑电情绪识别方法,其特征在于,包括:
2.根据权利要求1所述的跨数据库脑电情绪识别方法,其特征在于,所述获取未标注的原始脑电样本,并对所述原始脑电样本进行混合掩码,得到掩码样本,包括:
3.根据权利要求1所述的跨数据库脑电情绪识别方法,其特征在于,所述将所述原始脑电样本和所述掩码样本进行编码和映射嵌入处理,得到原始嵌入特征、掩码嵌入特征、原始映射嵌入特征和掩码映射嵌入特征,包括:
4.根据权利要求1所述的跨数据库脑电情绪识别方法,其特征在于,所述基于所述原始脑电样本、所述掩码样本、所述原始映射嵌入特征和所述掩码映射嵌入特征进行软对比学习处理,生成软对比损失,包括:
5.根据权利要求1所述的跨数据库脑电情绪识别方法,其特征在于,所述计算所述原始映射嵌入特征和所述掩码映射嵌入特征的余弦相似度,基于所述余弦相似度对所述原始嵌入特征和所述掩码嵌入特征进行加权聚合,得到重建嵌入特征,包括:
6.根据权利要求1至5任一项所述的跨数据库脑电情绪识别方法,其特征在于,所述对所述重建嵌入特征进行解码生成重建脑电样本,基于所述重建脑电样本与所述原始脑电样本计算生成重构损失,并基于所述重构损失和所述软对比损失进行脑电图识别模型的自监督训练,生成初始脑电情绪识别模型,包括:
7.根据权利要求1至5任一项所述的跨数据库脑电情绪识别方法,其特征在于,所述获取标注脑电样本,并基于所述标注脑电样本对所述初始脑电情绪识别模型的情绪分类器进行训练和模型参数的更新,得到目标脑电情绪识别模型,包括:
8.一种跨数据库脑电情绪识别装置,其特征在于,包括:
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的跨数据库脑电情绪识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的跨数据库脑电情绪识别方法。
