本发明涉及精神障碍识别，尤其是涉及面向精神障碍识别的光电多模态决策融合方法与系统。
背景技术：
1、目前，精神障碍的诊断和识别主要依赖于传统的临床手段，如患者自述症状、标准化的心理量表、以及临床医生的面谈和观察。这些方法在某些情况下能够提供有效的诊断依据，但也存在明显的局限性。患者的自述通常带有主观性，可能因病情、认知能力、社会文化背景等因素的影响而出现偏差。此外，临床医生的评估结果往往依赖于个人的经验和技巧，可能导致诊断的一致性和客观性不足，尤其在病情复杂或症状不典型的情况下，误诊和漏诊的情况时有发生。这些传统诊断方法对精神障碍的早期识别能力有限，许多患者在症状明显恶化后才被确诊，从而错失了早期干预和治疗的最佳时机。
2、为了解决上述问题，近年来研究人员开始探索基于多模态数据的精神障碍识别方法。多模态数据包括脑电信号(eeg)、近红外(nirs)、面部表情等。
3、尽管多模态数据融合方法展现出良好的应用前景，其实现仍面临诸多挑战。首先，各模态数据的异构性与高维度性显著增加了数据处理的复杂性。尤其是在光电多模态融合中，近红外信号和脑电信号各有优劣：近红外信号富含空间信息，具备直观展示能力，能够清晰呈现大脑不同区域的活动状态；而脑电信号作为典型的时序信号，能够精准展示大脑活动的动态特性及其时间进程。这种互补性为提升神经可解释性提供了独特优势，但如何有效整合这些不同模态的特征以提升识别性能和可解释性，依然是一个难题。
4、因此，有必要提供面向精神障碍识别的光电多模态决策融合方法与系统，来解决上述问题。
技术实现思路
1、本发明的目的是提供面向精神障碍识别的光电多模态决策融合方法与系统，通过引入改进的贝叶斯组合规则和集成学习模型，实现了对多模态数据的深度融合与优化分类，在处理和融合不同模态的数据时，最大限度地发挥了各模态的互补性，显著提高了特征空间的可分性，从而提升了精神障碍识别的准确性和可靠性。
2、为实现上述目的，本发明提供了面向精神障碍识别的光电多模态决策融合方法，具体包括以下步骤：
3、步骤s1：多模态数据采集阶段通过数据采集模块采集模态数据，使用设备采集多导联脑电信号和多通道近红外信号；
4、步骤s2：数据预处理阶段通过数据处理模块对采集到的脑电信号进行带通滤波、伪迹去除的处理；对采集到近红外信号进行数据筛查、伪迹去除和带通滤波处理；
5、步骤s3：特征提取阶段通过特征提取模块对采集到的模态数据进行关键特征提取，从脑电信号中提取线性特征及非线性特征，从近红外信号中提取线性特征及矢量特征；
6、步骤s4：单模态模型评估阶段中，单模态模型分类模块通过多种机器学习方法和深度学习算法对各模态数据进行单独情感障碍分类得到初步的分类结果及其对应的置信度评分；
7、步骤s5：多模态决策融合阶段中，决策融合模块采用基于贝叶斯组合规则的多分类器决策融合方法，对模态分类结果进行融合，通过加权融合分类器的预测结果，计算输入模式属于不同类别的置信度；
8、步骤s6：分类与精神障碍诊断过程中，分类诊断模块根据融合后的置信度得出最终分类结果，判断个体是否患有某种精神障碍，并给出相应的诊断建议。
9、优选的，在步骤s1中，支持单模态采集或多模态同步采集，模态数据代表个体不同维度的生理或心理状态；数据采集具体包括以下步骤：
10、s11：支持光电多模态数据的同步采集或单模态的脑电信号或近红外信号采集，采集过程中使用分段的间歇性音频刺激作为范式，被试全程保持闭眼放松状态；
11、s12：光电多模态数据同步采集过程中，脑电信号通过多导联脑电设备进行采集，脑电设备上设置有对应的参考电极；近红外信号通过多通道的近红外设备进行采集，近红外设备配有多个发射探头和接收探头，形成上百个有效通道，在运动区、顶叶和枕叶区域获取高质量的脑部血氧信号。
12、优选的，在步骤s2中，脑电信号带通滤波过程中，带通滤波频率范围设置在1hz-40hz之间，脑电信号伪迹去除过程中，检查原始信号移除伪迹信号后使用独立成分分析方法去除残留伪迹；
13、近红外信号数据筛查过程计算通道和试次的cv系数，剔除通道cv大于15％及试次cv大于10％的数据，将nirs原始数据转换为光密度od数据；近红外信号伪迹去除过程中，通过伪迹校正工具矫正伪迹，通过主成分分析方法去除伪迹干扰；近红外信号带通滤波过程中，带通滤波频率范围设置在0.01hz-0.1hz之间，将od数据转换为血氧浓度变化信息(hbo、hbr、hbt)，进行后续分析。
14、优选的，在步骤s3中，脑电信息号特征提取包括提取两种线性特征和两种非线性特征；
15、提取两种线性特征：针对每段脑电信号提取均方根、余隙因子，均方根反映了信号发送功率的能力；余隙因子cf由峰值除以均方根得到，具体表示为：
16、
17、式中，xi表示脑电数据，xrms表示脑电数据的均方根；
18、提取两种非线性特征：针对每段脑电信号提取c0复杂度和lzc复杂度，c0复杂度是用于衡量时间序列不规则程度的非线性特征，c0复杂度计算过程基于时间序列的功率谱，具体包括以下步骤：
19、s31：计算序列的平均振幅，将低于平均振幅的功率设置为0，并保持所有高于平均振幅的功率不变；
20、s32：应用傅里叶逆变换生成一个新的时间序列；
21、s33：计算原始时间序列与生成的新时间序列之间的差值，差值的平方和用于表示序列中的随机部分；
22、s34：c0复杂度通过比较原始序列的平方和与随机部分的平方和来确定，c0复杂度越高，表明时间序列的不规则程度越高；c0复杂度越低，表示序列更加规律；
23、lzc复杂度用于衡量时间序列接近随机性的程度，lzc复杂度越高表示原始序列的随机性更强，信号的频率成分更加多样化。
24、优选的，在步骤s3中，近红外信号特征提取包括提取四种线性特征和四种矢量特征；
25、提取四种线性特征包括提取近红外信号的均值、标准差、曲线下面积和斜率；提取四种矢量特征包括提取脑血容量δcbv、氧交换量δcoe、向量幅值和向量相角，具体表示为：
26、
27、
28、向量幅值反映了氧调节向量的幅值，向量相角反应了氧调节向量的相角。
29、优选的，在步骤s4中，单模态模型评估阶段分为基于脑电信号的模型评估和基于近红外信号的模型评估，通过机器学习方法和深度学习算法分别对脑电信号和近红外信号进行情感障碍识别，机器学习方法包括支持向量机svm、随机森林rf、卷积神经网络cnn、长短期记忆网络lstm、极限梯度提升xgboost、自编码器autoencoder、k近邻k-nn、朴素贝叶斯nb、决策树dt、图卷积网络gcn、深度信念网络dbn、递归神经网络rnn和多层感知机mlp；
30、支持向量机评估过程：使用线性核或非线性核训练支持向量机模型，计算分类准确率、灵敏度和特异性，使用交叉验证评估模型泛化能力；
31、随机森林评估过程：使用多棵决策树构建随机森林，通过随机采样提高模型稳定性，计算平均分类精度和特征重要性，评估混淆矩阵；
32、卷积神经网络评估过程：构建多层卷积和池化层对脑电信号的空间特征进行提取，通过验证集评估模型的分类准确性，使用混淆矩阵和roc曲线分析模型性能；
33、长短期记忆网络评估过程：长短期记忆网络用于处理时序数据，评估步骤包括监测训练和验证集上的损失值和准确率，使用曲线下面积auc评估模型的预测能力；
34、极限梯度提升评估过程：使用极限梯度提升对高维脑电数据进行分类，通过调节树的深度和学习率优化模型，通过交叉验证和auc评估模型性能；
35、自编码器评估过程：使用自编码器对脑电数据进行无监督学习，提取其特征，通过重建误差和特征提取的准确率评估模型效果；
36、k近邻评估过程：使用不同的k值进行脑电信号分类，评估步骤包括计算分类准确率、f1分数和混淆矩阵；
37、朴素贝叶斯评估过程：基于条件概率模型进行分类，使用交叉验证评估准确性，计算模型的召回率和精度；
38、决策树评估过程：使用信息增益或基尼系数分裂节点，通过交叉验证评估模型的分类精度、召回率和f1分数；
39、图卷积网络评估过程：对脑电信号的图结构进行建模，通过节点间的关联性进行分类，评估图卷积层的作用，并通过交叉验证和auc评估模型；
40、深度信念网络评估过程：通过堆叠受限玻尔兹曼机进一步提取深度特征，评估模型的训练损失值和分类准确率，并通过混淆矩阵分析性能；
41、递归神经网络评估过程：使用递归神经网络捕捉脑电信号中的时间依赖关系，通过交叉验证评估模型的准确率，使用混淆矩阵分析表现；
42、多层感知机评估过程：使用全连接神经网络对脑电信号分类，监测训练过程中的损失值和分类准确率，通过混淆矩阵和f1分数评估性能；
43、针对上述模型，均在训练和测试阶段输出精神障碍分类概率，采用准确率acc评估可靠性：
44、
45、式中tp、fp、tn、fn分别代表真阳性、假阳性、真阴性和假阴性。
46、优选的，在步骤s5中，具体包括以下步骤：
47、s51：通过融合各分类器对输入模式的预测类别p(x∈ci|ek(x)＝j)来计算置信度bel(i)：
48、
49、置信度计算公式中，将各分类器的预测概率相乘，再除以所有类别预测概率之和，得到输入模式属于类别i的置信度；
50、当分类器输出为类别的预测概率值为非离散类别值时，改进置信度new bel(i)通过对各类别的预测值及对应置信度bel(i)进行加权融合计算得出：
51、
52、改进置信度公式中，加权类别i的预测值乘积除以所有类别预测值乘积，优化原有的分类置信度bel(i)。
53、优选的，在步骤s6中，具体包括以下步骤：
54、s61：根据融合了多维度大脑活动数据信息的多模态决策融合阶段的输出，获取每个类别的置信度值，反映个体属于各类别的可能性；
55、s62：对置信度值进行分析，选取置信度值最高的类别作为最终分类结果，从而判断个体是否患有某种精神障碍；
56、s63：若存在多个类别的置信度值接近，进一步调整策略，基于分类结果，生成精神障碍诊断报告，报告内容包括诊断类别、置信度分析、可能的病症特征描述和针对该病症的检查或治疗建议。
57、基于面向精神障碍识别的光电多模态决策融合方法的系统，融合系统中设置了数据采集模块、数据处理模块、特征提取模块、单模态模型分类模块、决策融合模块和分类诊断模块。
58、因此，本发明采用上述面向精神障碍识别的光电多模态决策融合方法与系统，具备以下有益效果：
59、(1)本发明通过引入改进的贝叶斯组合规则和集成学习模型，实现了对多模态数据的深度融合与优化分类。
60、(2)本发明在处理和融合不同模态的数据时，最大限度地发挥了各模态的互补性，显著提高了特征空间的可分性，从而提升了精神障碍识别的准确性和可靠性。
61、(3)本发明改进贝叶斯组合规则，不仅有效解决了模态数据异构性的问题，还增强了系统的解释性和适应性，使得对复杂精神状态的识别更加稳健。
62、(4)本发明集成学习方法通过结合多个分类器的优势，极大地增强了系统的泛化能力和稳定性，有效克服了传统单一模型在多模态数据处理中的局限性和计算负担，使得融合系统在实际应用中更加高效和实用。
63、(5)本发明改进的融合策略不仅提升了识别结果的准确性，还优化了结果的可解释性，为临床诊断提供了清晰的神经生理基础支持。
64、(6)本发明通过结合脑电信号的高时间分辨率和近红外信号的优秀空间分辨率，提供了丰富的时空信息，增强了诊断结果的可解释性和可信度。
65、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
1.面向精神障碍识别的光电多模态决策融合方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的面向精神障碍识别的光电多模态决策融合方法，其特征在于，在步骤s1中，支持单模态采集或多模态同步采集，模态数据代表个体不同维度的生理或心理状态；数据采集具体包括以下步骤：
3.根据权利要求1所述的面向精神障碍识别的光电多模态决策融合方法，其特征在于，在步骤s2中，脑电信号带通滤波过程中，带通滤波频率范围设置在1hz-40hz之间，脑电信号伪迹去除过程中，检查原始信号移除伪迹信号后使用独立成分分析方法去除残留伪迹；
4.根据权利要求1所述的面向精神障碍识别的光电多模态决策融合方法，其特征在于，在步骤s3中，脑电信息号特征提取包括提取两种线性特征和两种非线性特征；
5.根据权利要求1所述的面向精神障碍识别的光电多模态决策融合方法，其特征在于，在步骤s3中，近红外信号特征提取包括提取四种线性特征和四种矢量特征；
6.根据权利要求1所述的面向精神障碍识别的光电多模态决策融合方法，其特征在于，在步骤s4中，单模态模型评估阶段分为基于脑电信号的模型评估和基于近红外信号的模型评估，通过机器学习方法和深度学习算法分别对脑电信号和近红外信号进行情感障碍识别，机器学习方法包括支持向量机svm、随机森林rf、卷积神经网络cnn、长短期记忆网络lstm、极限梯度提升xgboost、自编码器autoencoder、k近邻k-nn、朴素贝叶斯nb、决策树dt、图卷积网络gcn、深度信念网络dbn、递归神经网络rnn和多层感知机mlp；
7.根据权利要求1所述的面向精神障碍识别的光电多模态决策融合方法，其特征在于，在步骤s5中，具体包括以下步骤：
8.根据权利要求1所述的面向精神障碍识别的光电多模态决策融合方法，其特征在于，在步骤s6中，具体包括以下步骤：
9.基于权利要求1-8任意一项所述的面向精神障碍识别的光电多模态决策融合方法的系统，其特征在于：融合系统中设置了数据采集模块、数据处理模块、特征提取模块、单模态模型分类模块、决策融合模块和分类诊断模块。
