本发明涉及生物医学信息处理，具体地说是一种用于脑网络学习与分类的极简化transformer方法。
背景技术：
1、脑功能网络作为一种在宏观尺度上模拟神经通路的方法，在早期识别自闭症谱系障碍、阿尔茨海默病和重度抑郁障碍等神经或精神异常方面发挥着越来越重要的作用。在数学中，功能脑网络可以用一个图来描述，图中的节点代表大脑感兴趣区，边反映了与相应脑区的功能磁共振成像信号之间的关系。与分子式等未知或可明确定义的传统图形不同，功能脑网络没有准确的真实定义，一般需要根据功能磁共振成像信号数据进行估计，高质量的功能脑网络估计对下游任务至关重要。
2、在过去的几十年里，人们提出了许多方法来估计功能脑网络。经典方法包括皮尔逊相关、稀疏表示和互信息等。皮尔逊相关是估计功能脑网络的第一种也是最简单的方法。尽管皮尔逊相关很受欢迎，但它只能计算脑区之间的完全相关性，因此很容易导致估计的功能脑网络中出现虚假连接。相比之下，稀疏表示作为一种建立部分相关性模型的方法，可以通过回归无关脑区的混杂效应来获得更可靠的连接。与只能捕捉线性关系的皮尔逊相关和稀疏表示不同，互信息提供了一种对不同脑区之间复杂的非线性相互作用进行建模的方法。此外，还有许多其他方案，如高阶相关性、动态因果模型和格兰杰因果关系等，可用于估计功能脑网络。
3、根据获得的功能脑网络，可以完成脑疾病诊断任务。传统上，首先要从不同受试者对应的功能脑网络中提取特征，如节点度、局部聚类系数或边权重。然后，选择这些特征(如有必要)并将其输入向量分类器(如支持向量机)，以便从正常对照组中识别出患有脑部疾病的受试者。此外，考虑到功能脑网络是一个图，图神经网络自然也可以用来进行功能脑网络分类。与传统向量方案中的人工特征提取方式不同，基于图神经网络的方法将特征提取与分类任务结合在一个框架中。尽管基于向量的方案和基于图神经网络的方法在脑疾病诊断中得到了成功应用，但它们在学习过程中都需要预先估计功能脑网络。这意味着功能脑网络的学习和下游任务被分成了不同的步骤，很难达到最佳的整体性能。
4、为了克服传统的分步学习方法的局限性，研究人员最近探索了功能脑网络与下游任务的联合学习。例如，kazi等人提出将可微分图模块与图卷积网络结合起来用于阿尔茨海默症的诊断。kazi,anees,et al."differentiable graph module(dgm)for graphconvolutional networks."ieee transactions on pattern analysis and machineintelligence 45.2(2022):1606-1617.jia等人研究了一种基于时空图卷积网络自适应学习图结构的方法。jia,ziyu,et al."graphsleepnet:adaptive spatial-temporal graphconvolutional networks for sleep stage classification."ijcai.vol.2021.2020.jang等人设计了一种神经网络模型，利用数据驱动的方式学习图结构。jang s,moon s e,lee j s.eeg-based emotional video classification vialearning connectivity structure[j].ieee transactions on affective computing,2021,14(2):1586-1597.然而，这些工作所涉及的架构主要基于较强的技能进行设计，没有统一的原则可循，影响了其在新场景下的适应性和灵活性。
5、相比之下，transformer作为一个统一的基础框架，已在自然语言处理和计算机视觉等多个领域展现出显著的成效。更重要的是，它提供了一种利用自我注意机制来模拟脑区之间关系的自然方法。最近，kan等人提出了brainnettf和drat，它们利用transformer以端到端的方式学习和分类功能脑网络。kan x,dai w,cui h,et al.brain networktransformer[j].advances in neural information processing systems,2022,35:25586-25599.kan x,gu a a c,cui h,et al.dynamic brain transformer with multi-level attention for functional brain network analysis[c]//2023ieee embsinternational conference on biomedical and health informatics(bhi).ieee,2023:1-4.尽管这些基于transformer的方法潜力巨大，但它们包含大量参数，因此需要足够的数据进行训练，而这对于医疗场景来说是一个巨大的挑战。此外，这类方法通常导致可解释性差。一方面，自我注意模块中涉及的投影矩阵wq、wk和wv，使得功能磁共振成像信号中不同时间点的数据耦合在一起，这给模型参数的解释带来了挑战。另一方面，传统的基于transformer的方法很难确定哪些脑区或连接对最终结果有贡献，因为这些方法中涉及的自我注意矩阵只是作为学习新表征的中间度量，而不是直接用作脑疾病分类任务的功能脑网络。
技术实现思路
1、本发明提出了一种用于脑网络学习与分类的极简化transformer方法，它不仅减少了需要学习的参数数量，使基于有限数据的训练更加有效，还增强模型参数和最终结果的可解释性。其次，设计了基于miniformer的两个变体，分别对功能磁共振成像信号施加稀疏性和时间平滑性先验，灵活地整合先验信息。
2、为了解决上述技术问题，本发明采用以下技术方案：
3、一种用于脑网络学习与分类的极简化transformer方法，其特征在于包括以下步骤：
4、(1)对于功能磁共振设备采集到的静息态功能磁共振成像信号数据，使用dparsf工具箱进行如下预处理：1)去除每个被试的前p个不稳定的时间点；2)进行头动和时间层矫正；3)回归掉脑室、白质、全局信号的影响；4)通过蒙特利尔神经学研究所模板配准到标准空间；5)0.01-0.1hz带通滤波，以减少心跳和呼吸的影响；
5、(2)静息态功能磁共振成像信号数据预处理后，基于自动解剖标记模板，将大脑划分为若干个脑区，并分别提取各个脑区的时间序列，x＝[x1,x2,…,xi,…,xn]∈rt×n,其中xi∈rt表示第i个节点的时间序列，t表示时间序列中时间的个数，n表示节点的数量；
6、(3)基于提取的各个脑区的时间序列，输入miniformer模型，先经过脑功能网络的学习过程，再进入脑功能网络的分类过程；
7、所述的脑功能网络的学习过程中，时间序列输入到简编码器模块miniencoder，该模块堆叠成多层，以逐步提取和融合时间序列的特征；miniencoder将基于transformer的投影矩阵简化为一个对角矩阵wl，其中wl中的对角元素恰好对应于功能磁共振成像信号中时间点的权重；对投影矩阵经过简化得到对角矩阵wl，得到了嵌入表示ql、kl和并通过ql和kl点积运算计算出注意力矩阵al；得到的矩阵通过softmax函数进行缩放，然后与vl相乘，就得到了自注意机制的输出，计算公式如下：
8、
9、sal(ql,kl,vl)＝sal(ql,ql,ql)＝softmax(al)ql
10、进一步采用残差连接和层归一化模块来解决自注意机制的输出存在的梯度消失或爆炸的问题；利用前馈网络模块负责传输和处理神经网络各层的输入数据，然后再次通过残差连接和层归一化模块；最终，miniencoder输出的数据将成为后续miniencoder的输入数据，整个过程反复进行；
11、所述的再进入脑功能网络的分类过程，经过基于注意力的功能脑网络学习之后，本模型直接将获得的功能脑网络al+1作为分类器的输入；使用经典的多层感知器mlp作为分类器，选择通过提取功能脑网络的上三角矩阵来减少特征冗余和计算复杂性，然后将该矩阵扁平化，并通过双层全连接网络进行分类；反向传播过程采用交叉熵损失，其公式如下：
12、
13、miniformer的最终损失定义为通过设置训练更新的次数epochs，定义常见的衡量模型性能的指标，即可输出病人与正常人的分类结果，同时能够更新得到要学习的对角投影矩阵。
14、为了弥补现有模型与其应用场景之间的差距，本发明的一种用于脑网络学习与分类的极简化transformer方法，即miniformer，该方法将transformer中的三个投影矩阵简化为一个对角矩阵，并直接将自注意力矩阵作为分类模块的输入。这种改进能够满足功能脑网络分析任务的需要。首先，它大大减少了模型参数的数量，从而减轻了许多医疗场景中因训练数据不足而导致的过拟合风险。其次，它提高了模型参数和最终结果的可解释性。特别是，模型对角投影矩阵中的每个参数都能有效表明时间点在功能磁共振成像信号数据中的重要性，通过直接将自我注意矩阵(即功能脑网络)作为分类模块的输入，可以识别出对最终分类结果有重要贡献的脑区或连接。第三，由于模型参数的可解释性，它使先验或假设的纳入更加容易和自然。
15、作为对本技术方案的进一步改进：
16、所述的用于脑网络学习与分类的极简化transformer方法，在miniencoder中，将投影矩阵经过简化得到的对角矩阵wl，进行先验或假设的整合，通过考虑功能磁共振成像信号中相邻的时间点对功能脑网络学习的贡献程度，即平滑度先验或假设，进而设计出新的变体miniformer(sm)，包括以下步骤：
17、通过以下正则化项来约束对角矩阵wl的对角元素：
18、
19、其中，wt表示第t个时间点的权重，即对角矩阵wl对角线上的第t个元素，t是时间点的数量；miniformer(sm)的最终损失定义为其中λ是一个超参数；之后利用反向传播，设置训练更新的次数epochs，定义常见的衡量模型性能的指标，并根据最优更新次数的指标，输出病人与正常人的分类结果。
20、所述的用于脑网络学习与分类的极简化transformer方法，在miniencoder中，将投影矩阵经过简化得到的对角矩阵wl，进行先验或假设的整合，通过在权利要求1所述损失函数中引入能够衡量稀疏性的正则化项，用于剔除可能对功能脑网络学习无益的"杂乱"时间点，进而设计出新的变体miniformer(sp)，包括以下步骤：
21、通过以下正则化项来对稀疏性进行编码：
22、
23、miniformer(sp)的最终损失定义为其中λ是一个超参数；之后利用反向传播，设置训练更新的次数epochs，定义常见的衡量模型性能的指标，并根据最优更新次数的指标，输出病人与正常人的分类结果。
24、本发明考虑了时间平滑性(sm)和稀疏性(sp)“先验信息”，以改进所提出的miniformer模型。
25、采用上述技术方案后，本发明的有益技术效果是：
26、1.提出了为功能脑网络学习与分类而创新的端到端的极简化transformer方法，即miniformer，它不仅减少了需要学习的参数数量，使基于有限数据的训练更加有效，还作为了一种更简单的端到端的方法来增强模型参数和最终结果的可解释性。
27、2.由于模型参数的可解释性，使先验或假设的纳入更简单。设计了miniformer的两个变体，分别引入稀疏性和时间平滑性的正则项约束，验证了所提出的架构可以灵活地整合先验信息。
28、3.直接使用注意力矩阵(功能脑网络)作为分类模块的输入，有助于识别出对最终分类结果有重要贡献的脑区或连接，从而提高了模型的解释性。
29、4.在公开数据集上进行了对比实验，以评估针对脑部疾病诊断任务提出的极简化transformer方法，即miniformer，在各个性能评价指标上均表现良好，整体结果高于对比方法结果，且结果更可靠。
1.一种用于脑网络学习与分类的极简化transformer方法，其特征在于包括以下步骤：
2.根据权利要求1所述的用于脑网络学习与分类的极简化transformer方法，在miniencoder中，将投影矩阵经过简化得到的对角矩阵wl，进行先验或假设的整合，通过考虑功能磁共振成像信号中相邻的时间点对功能脑网络学习的贡献程度，即平滑度先验或假设，进而设计出新的变体miniformer(sm)，包括以下步骤：通过以下正则化项来约束对角矩阵wl的对角元素：
3.根据权利要求1所述的用于脑网络学习与分类的极简化transformer方法，在miniencoder中，将投影矩阵经过简化得到的对角矩阵wl，进行先验或假设的整合，通过在权利要求1所述损失函数中引入能够衡量稀疏性的正则化项，用于剔除可能对功能脑网络学习无益的"杂乱"时间点，进而设计出新的变体miniformer(sp)，包括以下步骤：
