本技术涉及情感识别，特别是涉及一种eeg-fnirs耦合脑网络构建方法和系统。
背景技术：
1、情感是由外界刺激引发的大脑皮层和皮层下神经系统协同活动的结果，在与大脑活动相关的生理信号中，eeg(electroencephalogram，脑电)和fnirs(functionalnear-infrared spectroscopy，功能近红外成像)信号凭借采集成本低、可移动性好、测试过程相对简单等优势，被广泛应用于情感识别研究中。eeg通过放置在头皮表面的电极记录大脑活动产生的电压波动，直接反映了大脑皮层神经元的电生理活动，具有时间分辨率高、非侵入、低成本的特点。fnirs利用大脑局部脑组织对650nm-950nm波长的近红外光吸收率存在差异的特性，通过放置在头皮表面的光耦合器(发射器和接收器)测量与大脑活动相关的氧合血红蛋白(oxygenated hemoglobin，hbo)和脱氧血红蛋白(deoxygenated hemoglobin，hbr)浓度变化，反映了大脑皮层血流动力学活动，具有较高的空间分辨率和较好的抗干扰性。eeg和fnirs不仅在时间分辨率和空间分辨率上互补，而且两种信号反映了与大脑神经元活动相关的不同方面，可以提供互补信息。因此，充分利用二者的互补优势，对进一步改善情感识别性能，并揭示大脑情感认知的工作机理具有重要意义。
2、随着复杂网络与神经科学的深度结合，基于多模态生理信号构建的脑网络能够描述大脑脑区之间的交互作用和协调机制，从宏观层面研究大脑的认知功能。鉴于eeg和fnirs两种信号在反映大脑神经元活动方面的互补性优势，能够有效克服单模态信号的局限性，因此，探索一种新的基于同步eeg-fnirs(electroencephalogram-functional near-infrared spectroscopy，脑电-功能近红外成像)双模态信号的脑网络构建方法，对进一步提升情感识别性能具有重要价值和意义。由于eeg和fnirs两种信号在采样率、信号类型、量纲等方面均存在较大差异，导致现有基于eeg单模态信号构建脑网络的方法无法用于构建多模态信号脑网络。
3、针对同步采集的eeg-fnirs信号，现有研究的耦合强度计算方法只适用于实验刺激持续时间短且强度不变的实验范式。例如，现有方法对左右手运动想象任务态下采集的eeg-fnirs计算耦合强度，在运动想象等任务中，实验刺激出现时间短且刺激强度保持不变。然而，在情感诱发实验范式下，实验刺激通常以音频或视频片段的形式呈现，其持续时间相对较长，且内容不断变化，因此，现有方法不适用于情感诱发的实验范式，无法保证情感识别性能。
4、基于此，如何提供一种适用于情感诱发的实验范式，可有效构建多模态信号脑网络的方法，以有效提高情感识别性能，成为了本领域亟待解决的一个技术问题。
技术实现思路
1、本技术的目的是提供一种eeg-fnirs耦合脑网络构建方法和系统，可以有效构建出适用于情感诱发的实验范式的多模态信号脑网络，可以有效提高情感识别性能。
2、为实现上述目的，本技术提供了如下方案：
3、第一方面，本技术提供了一种eeg-fnirs耦合脑网络构建方法，所述eeg-fnirs耦合脑网络构建方法包括：
4、获取eeg信号和fnirs信号；所述eeg信号和所述fnirs信号为多个采集通道同步采集的信号。
5、分别对所述eeg信号和所述fnirs信号进行预处理，得到预处理后的eeg信号和预处理后的fnirs信号。
6、根据所述预处理后的eeg信号和所述预处理后的fnirs信号，计算eeg-fnirs耦合强度，得到eeg-fnirs耦合强度矩阵。
7、根据所述eeg-fnirs耦合强度矩阵，构建得到eeg-fnirs耦合脑网络；所述eeg-fnirs耦合脑网络作为一种新的情感识别特征，用于输入至情感识别模型中得到情感识别结果。
8、可选地，分别对所述eeg信号和所述fnirs信号进行预处理，得到预处理后的eeg信号和预处理后的fnirs信号，具体包括：
9、对所述eeg信号依次进行重参考处理、下采样处理、去除伪迹处理和滤波处理，得到所述预处理后的eeg信号。
10、对所述fnirs信号依次进行滤波处理和去除伪迹处理，得到初步处理后的fnirs信号。
11、根据修正的beer-lambert定律，将所述初步处理后的fnirs信号转换为hbo浓度变化信号，并上采样至eeg信号的当前采样频率，得到所述预处理后的fnirs信号；所述hbo浓度变化信号用于表征大脑局部区域的激活程度。
12、可选地，根据所述预处理后的eeg信号和所述预处理后的fnirs信号，计算eeg-fnirs耦合强度，得到eeg-fnirs耦合强度矩阵，具体包括：
13、对每一所述预处理后的eeg信号进行短时傅里叶变换，得到各个所述预处理后的eeg信号的时频功率谱。
14、将每一所述预处理后的eeg信号的所述时频功率谱在频率维度进行功率叠加，得到各个所述预处理后的eeg信号的时变功率。
15、对每一所述预处理后的eeg信号的所述时变功率进行归一化处理，并与hrf函数进行卷积，得到若干实验刺激下预测的fnirs信号。
16、利用矩形窗分别对预处理后的实测fnirs信号和若干实验刺激下预测的fnirs信号进行样本分割；
17、针对样本分割后的每个样本，将若干实验刺激下预测的fnirs信号作为一般线性模型的设计矩阵，对预处理后的实测fnirs信号进行拟合处理，得到回归系数矩阵。
18、对所述回归系数矩阵求绝对值，得到所述eeg-fnirs耦合强度矩阵。
19、可选地，采用下式表示所述eeg-fnirs耦合强度矩阵：
20、
21、其中，cs表示所述eeg-fnirs耦合强度矩阵，csnm表示第n个eeg信号和第m个fnirs信号之间的耦合强度。
22、可选地，根据所述eeg-fnirs耦合强度矩阵，构建得到eeg-fnirs耦合脑网络，具体包括：
23、将所述eeg-fnirs耦合强度矩阵中的第i个eeg信号和第j个fnirs信号分别作为节点，将第i个eeg信号和第j个fnirs信号对应的耦合强度csij作为连接两个节点的边，将所述eeg-fnirs耦合强度矩阵作为邻接矩阵，构建得到所述eeg-fnirs耦合脑网络。
24、可选地，在根据所述eeg-fnirs耦合强度矩阵，构建得到eeg-fnirs耦合脑网络的步骤之后，所述eeg-fnirs耦合脑网络构建方法还包括：
25、利用所述eeg-fnirs耦合脑网络进行情感识别，得到情感识别结果。
26、可选地，利用所述eeg-fnirs耦合脑网络进行情感识别，得到情感识别结果，具体包括：
27、将所述eeg-fnirs耦合脑网络对应的所述eeg-fnirs耦合强度矩阵按行或者按列进行展开处理，得到用于情感识别的特征向量。
28、将所述特征向量输入至所述情感识别模型中，得到所述情感识别结果。
29、可选地，所述情感识别模型为svm模型。
30、第二方面，本技术提供了一种eeg-fnirs耦合脑网络构建系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现第一方面所述的eeg-fnirs耦合脑网络构建方法。
31、根据本技术提供的具体实施例，本技术公开了以下技术效果：
32、本技术提供了一种eeg-fnirs耦合脑网络构建方法和系统，基于同步采集的eeg信号和fnirs信号，利用eeg信号和fnirs信号之间的神经血管耦合的特性，通过eeg信号对情感诱发范式下的实验刺激进行建模，实现在情感诱发范式下计算eeg信号和fnirs信号之间的耦合强度，从而形成了基于eeg信号和fnirs信号的eeg-fnirs耦合强度矩阵，并利用eeg信号和fnirs信号之间的耦合强度进一步构建出了eeg-fnirs耦合脑网络，进而达到了构建适用于情感诱发的实验范式的多模态信号脑网络的目的。并且，该eeg-fnirs耦合脑网络可以作为一种新的情感识别特征应用于情感识别场景中，将其输入至任意一种具有情感识别分类性能的模型中即可得到相应的情感识别结果，可有效提升情感识别性能，得到更加准确、可靠的情感识别分类结果，对深入理解情感任务下的大脑神经活动机制具有重要意义。
1.一种eeg-fnirs耦合脑网络构建方法，其特征在于，所述eeg-fnirs耦合脑网络构建方法包括：
2.根据权利要求1所述的eeg-fnirs耦合脑网络构建方法，其特征在于，分别对所述eeg信号和所述fnirs信号进行预处理，得到预处理后的eeg信号和预处理后的fnirs信号，具体包括：
3.根据权利要求1所述的eeg-fnirs耦合脑网络构建方法，其特征在于，根据所述预处理后的eeg信号和所述预处理后的fnirs信号，计算eeg-fnirs耦合强度，得到eeg-fnirs耦合强度矩阵，具体包括：
4.根据权利要求3所述的eeg-fnirs耦合脑网络构建方法，其特征在于，采用下式表示所述eeg-fnirs耦合强度矩阵：
5.根据权利要求1所述的eeg-fnirs耦合脑网络构建方法，其特征在于，根据所述eeg-fnirs耦合强度矩阵，构建得到eeg-fnirs耦合脑网络，具体包括：
6.根据权利要求1所述的eeg-fnirs耦合脑网络构建方法，其特征在于，在根据所述eeg-fnirs耦合强度矩阵，构建得到eeg-fnirs耦合脑网络的步骤之后，所述eeg-fnirs耦合脑网络构建方法还包括：
7.根据权利要求6所述的eeg-fnirs耦合脑网络构建方法，其特征在于，利用所述eeg-fnirs耦合脑网络进行情感识别，得到情感识别结果，具体包括：
8.根据权利要求7所述的eeg-fnirs耦合脑网络构建方法，其特征在于，所述情感识别模型为svm模型。
9.一种eeg-fnirs耦合脑网络构建系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-8中任一项所述的eeg-fnirs耦合脑网络构建方法。
