本发明涉及一种发展轨迹预测系统,特别是涉及基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,属于发展轨迹预测系统。
背景技术:
技术实现思路
1、本发明的主要目的是为了提供基于多模态特征融合的阿尔茨海默症发展轨迹预测系统。
2、本发明的目的可以通过采用如下技术方案达到:
3、基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,包括预处理模块,其用于对头部mri原始影像进行颅骨抽取和配准操作,得到可训练影像以及对患者的不同患病时期的临床信息进行筛选及合并,得到完整的数据;
4、非负矩阵分解模块,用于获取预处理模块的数据并进行将高维的多模态融合特征降低至二维和三维,并同时模拟二维的患者记忆和认知空间;
5、疾病轨迹预测模块,用于对通过非负矩阵分解模块传输的影像和临床信息特征进行多模态融合处理,训练模型得到预测结果。
6、优选的,预处理模块包括医学影像预处理模块和临床信息预处理模块;
7、医学影像预处理模块,用于对头部mri原始影像进行颅骨抽取和配准操作,得到可训练影像;
8、临床信息预处理模块,用于对患者的不同患病时期的临床信息进行筛选及合并,得到完整的数据。
9、优选的,预处理模块采用fsl工具导入患者头部mri影像,进行颅骨抽取并将图像配准至mni152空间。
10、优选的,采用fsl工具进行颅骨抽取并将图像配准至mni152空间的方法包括如下步骤:
11、步骤一:使用中心质估计来确定脑部的中心位置,从中心位置出发生成一个初始的球形网络模型;
12、步骤二:根据mri影像自带的梯度信息来识别脑组织的边界应用动态轮廓模型,使得球形网络变形至逐渐逼近脑边界;
13、步骤三:图像配准将不同时间、不同个体或者不同成像设备获取的图像对齐到同一个空间,先选取一个在mni152标准空间中的示例影像,通过质心对齐和主成分分析,初步估计患者影像和示例影像的对齐参数,随后使用相似性度量函数来评估两个影像对齐后的相似程度,再使用多分辨率金字塔结构,从低分辨率到高分辨率逐步优化,采用梯度下降算法;
14、步骤四:在参数空间中寻找使相似性度量函数最大化的参数,最后计算最佳的线性变换矩阵,将患者影像变换到示例影像的mni152空间。
15、优选的,颅骨抽取采用fsl工具中的bet通过计算每个体素的强度阈值来区分颅骨和脑组织,实现颅骨的自动去除;
16、选择mni152标准空间模板进行图像配准,确保不同个体的大脑图像能够在统一的坐标系中进行比较和分析,其所使用到的体素的强度阈值公式如下:
17、
18、h(i)为强度值为i的体素数量;
19、为直方图的梯度。
20、优选的,临床信息预处理模块,筛选出具有初始阶段、第6月、第12月和第24月的随访记录的患者,将其临床指标作为多模态特征的一部分。
21、优选的,通过非负矩阵分解模块降低数据维度,将多模态特征分解为疾病进展向量矩阵和疾病进展指示矩阵,其中疾病进展向量用于预测患者在24个月和48个月时的疾病进程阶段,进展指示矩阵用于构建记忆力下降和认知功能下降模拟空间。
22、优选的,疾病轨迹预测模块包括高斯混合模型和长短期记忆神经网络lstm模型。
23、优选的,高斯混合模型用于对多模态融合数据进行自监督聚类,拟合为高、中和低进展速率患者组,为决策提供依据;
24、长短期记忆神经网络lstm模型,模型通过遗忘门、输入门和输出门来控制信息的传递,并且使用5折交叉验证的形式进行评估,选取最优模型对患者的实际疾病发展轨迹进行拟合。
25、本发明的有益技术效果:
26、本发明提供的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,具有以下优点和积极的效果;本发明不仅利用深度学习神经网络模型对阿尔茨海默病患者的mri影像和多个临床指标数据进行预处理,还特别强调了多模态数据融合。
27、通过将不同模态的数据特征进行高效融合,进一步提升了模型的性能和预测的准确性。
28、多模态融合的优势在于,能够综合不同来源的数据,提取更丰富的信息,从而形成一个更加全面和细致的患者健康状况的描述。
29、这种方法不仅提高了识别阿尔茨海默病的精度,还能减少单一数据来源可能带来的误差和偏差。
30、通过多模态融合,不仅提供了更全面的病情分析,同时利用多模态数据交叉验证,提高了模型的可靠性和稳健性,为临床医疗提供了更强有力的支持,进一步优化了医疗资源的利用。
1.基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:包括预处理模块,其用于对头部mri原始影像进行颅骨抽取和配准操作,得到可训练影像以及对患者的不同患病时期的临床信息进行筛选及合并,得到完整的数据;
2.根据权利要求1所述的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:预处理模块包括医学影像预处理模块和临床信息预处理模块;
3.根据权利要求1所述的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:预处理模块采用fsl工具导入患者头部mri影像,进行颅骨抽取并将图像配准至mni152空间。
4.根据权利要求3所述的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:采用fsl工具进行颅骨抽取并将图像配准至mni152空间的方法包括如下步骤:
5.根据权利要求4所述的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:颅骨抽取采用fsl工具中的bet通过计算每个体素的强度阈值来区分颅骨和脑组织,实现颅骨的自动去除;
6.根据权利要求2所述的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:临床信息预处理模块,筛选出具有初始阶段、第6月、第12月和第24月的随访记录的患者,将其临床指标作为多模态特征的一部分。
7.根据权利要求1所述的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:通过非负矩阵分解模块降低数据维度,将多模态特征分解为疾病进展向量矩阵和疾病进展指示矩阵,其中疾病进展向量用于预测患者在24个月和48个月时的疾病进程阶段,进展指示矩阵用于构建记忆力下降和认知功能下降模拟空间。
8.根据权利要求1所述的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:疾病轨迹预测模块包括高斯混合模型和长短期记忆神经网络lstm模型。
9.根据权利要求8所述的基于多模态特征融合的阿尔茨海默症发展轨迹预测系统,其特征在于:高斯混合模型用于对多模态融合数据进行自监督聚类,拟合为高、中和低进展速率患者组,为决策提供依据;
