本技术涉及人工智能和三维重建,特别是涉及一种基于超声心动图的心脏腔室三维重建方法及相关装置。
背景技术:
1、超声心动图是心脏检查中最常用的成像手段之一,其利用超声波扫查,透过人体皮肤、肌肉对心脏结构以及血液流动等情况进行观察,明确心腔、大血管的功能情况以及完整性。在超声心动图上获取心脏腔室的三维模型能够帮助医生更加准确地量化分析患者心脏功能,例如测量心室容积,射血分数等,然而超声心动图这一超声影像噪声多、采样稀疏,直接从超声心动图上获取心脏腔室的三维模型较为困难。在超声心动图上标注解剖学结构位置点,将解剖学结构位置点的二维坐标转换到三维坐标系中,构成三维点云,基于三维点云来重建心脏腔室的三维模型是一种有效的方法。
2、目前,基于超声心动图的心脏腔室三维重建方法主要是基于知识的重建算法(knowledge basedreconstruction,kbr),该基于知识的重建算法利用分段平滑表面细分算法(piece-wise smooth subdivision surface,psss),基于三维点云对一个模板mesh(网)进行微调,使用该模板mesh来拟合三维点云,重建得到心脏腔室的三维模型,然而该基于知识的重建算法需要对模板mesh每个点、每条边和每个面的结构特征进行标注,这不仅需要专业的知识,而且费时费力。
3、基于此,亟需一种能够简便且高效的重建心脏腔室的三维模型的技术。
技术实现思路
1、本技术的目的是提供一种基于超声心动图的心脏腔室三维重建方法及相关装置,可简便且高效的重建心脏腔室的三维模型。
2、为实现上述目的,本技术提供了如下方案:
3、第一方面,本技术提供了一种基于超声心动图的心脏腔室三维重建方法,所述基于超声心动图的心脏腔室三维重建方法包括:
4、基于待重建心脏腔室的超声心动图生成三维点云数据;所述三维点云数据包括多个三维点和每一个三维点的三维坐标和类别;所述三维点为待重建心脏腔室的解剖学结构位置点,所述类别为所述解剖学结构位置点的解剖学结构类别;
5、对所述三维点云数据进行归一化处理,得到归一化点云数据;所述归一化点云数据的中心点的三维坐标为坐标原点,所述归一化点云数据的每一个三维点的三维坐标均处于预设范围内;
6、对预设的三维区域进行均匀采样,得到多个查询点,并对所有所述查询点的三维坐标进行归一化处理,得到每一所述查询点的归一化三维坐标;所有所述查询点的中心点的归一化三维坐标为坐标原点,所述归一化三维坐标处于预设范围内;
7、以所述归一化点云数据和每一所述查询点的归一化三维坐标作为输入,利用训练好的占用函数预测模型得到每一所述查询点的占用结果;所述占用结果包括所述查询点位于待重建心脏腔室的内部,以及所述查询点位于待重建心脏腔室的外部;
8、基于所有所述查询点的归一化三维坐标和占用结果对待重建心脏腔室进行三维重建,得到待重建心脏腔室的初始三维模型;
9、对所述初始三维模型进行反归一化处理,得到待重建心脏腔室的三维模型。
10、可选地,所述训练好的占用函数预测模型包括依次连接的编码器、融合模块和解码器;
11、所述编码器用于对所述归一化点云数据进行处理,得到点云特征;
12、所述融合模块用于对所述点云特征和每一所述查询点的归一化三维坐标进行处理,得到融合特征;
13、所述解码器用于对所述融合特征进行处理,得到每一所述查询点的占用结果。
14、可选地,所述编码器包括依次连接的若干个第一多层感知机池化模块和一个多层感知机;所述第一多层感知机池化模块包括依次连接的多层感知机和池化层;
15、所述融合模块包括依次连接的第二多层感知机池化模块和多层感知机,所述第二多层感知机池化模块包括并联连接的多层感知机和池化层;或者,所述融合模块包括依次连接的特征投影层、分割网络、特征查询层和池化层;其中,所述特征投影层用于将所述点云特征分别向xoy平面、xoz平面和yoz平面进行投影,得到三个平面向量;所述分割网络用于对三个平面向量进行处理,得到三个平面特征;所述特征查询层用于基于每一所述查询点的归一化三维坐标和三个平面特征确定每一所述查询点的查询点特征;
16、所述解码器包括依次连接的若干个多层感知机。
17、可选地,基于待重建心脏腔室的超声心动图生成三维点云数据,具体包括:
18、基于待重建心脏腔室的超声心动图,确定每一解剖学结构位置点的二维坐标;
19、对于每一所述解剖学结构位置点,利用生成所述超声心动图时超声探头的三维位姿信息,对所述解剖学结构位置点的二维坐标进行坐标变换,得到所述解剖学结构位置点的三维坐标;将所述解剖学结构位置点记为三维点,将所述解剖学结构位置点的三维坐标记为所述三维点的三维坐标,将所述解剖学结构位置点的解剖学结构类别记为所述三维点的类别,将所有所述三维点和每一所述三维点的三维坐标和类别组成三维点云数据。
20、可选地,在以所述归一化点云数据和每一所述查询点的归一化三维坐标作为输入,利用训练好的占用函数预测模型得到每一所述查询点的占用结果之前,所述基于超声心动图的心脏腔室三维重建方法还包括:
21、获取数据集;所述数据集包括多个样本归一化点云数据和每一所述样本归一化点云数据对应的样本初始三维模型;
22、对于每一所述样本归一化点云数据,基于所述样本归一化点云数据确定采样区域,对所述采样区域进行随机采样,得到多个样本查询点;对于每一所述样本查询点,基于所述样本查询点的三维坐标和所述样本归一化点云数据对应的样本初始三维模型,确定所述样本查询点的实际占用结果;
23、以所述样本归一化点云数据和每一所述样本查询点的三维坐标作为输入,以每一所述样本查询点的实际占用结果作为标签,对初始占用函数预测模型进行训练,得到训练好的占用函数预测模型。
24、可选地,基于所有所述查询点的归一化三维坐标和占用结果对待重建心脏腔室进行三维重建,得到待重建心脏腔室的初始三维模型,具体包括:
25、以所有所述查询点的归一化三维坐标和占用结果作为输入,利用marching cube算法对待重建心脏腔室进行三维重建,得到待重建心脏腔室的初始三维模型。
26、第二方面,本技术提供一种基于超声心动图的心脏腔室三维重建装置,所述基于超声心动图的心脏腔室三维重建装置包括:
27、点云生成模块,用于基于待重建心脏腔室的超声心动图生成三维点云数据;所述三维点云数据包括多个三维点和每一个三维点的三维坐标和类别;所述三维点为待重建心脏腔室的解剖学结构位置点,所述类别为所述解剖学结构位置点的解剖学结构类别;
28、归一化模块,用于对所述三维点云数据进行归一化处理,得到归一化点云数据;所述归一化点云数据的中心点的三维坐标为坐标原点,所述归一化点云数据的每一个三维点的三维坐标均处于预设范围内;
29、查询点确定模块,用于对预设的三维区域进行均匀采样,得到多个查询点,并对所有所述查询点的三维坐标进行归一化处理,得到每一所述查询点的归一化三维坐标;所有所述查询点的中心点的归一化三维坐标为坐标原点,所述归一化三维坐标处于预设范围内;
30、模型预测模块,用于以所述归一化点云数据和每一所述查询点的归一化三维坐标作为输入,利用训练好的占用函数预测模型得到每一所述查询点的占用结果;所述占用结果包括所述查询点位于待重建心脏腔室的内部,以及所述查询点位于待重建心脏腔室的外部;
31、三维重建模块,用于基于所有所述查询点的归一化三维坐标和占用结果对待重建心脏腔室进行三维重建,得到待重建心脏腔室的初始三维模型;
32、模型恢复模块,用于对所述初始三维模型进行反归一化处理,得到待重建心脏腔室的三维模型。
33、第三方面,本技术提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述中任一项所述的基于超声心动图的心脏腔室三维重建方法。
34、第四方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述中任一项所述的基于超声心动图的心脏腔室三维重建方法。
35、第五方面,本技术提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述中任一项所述的基于超声心动图的心脏腔室三维重建方法。
36、根据本技术提供的具体实施例,本技术公开了以下技术效果:
37、本技术提供了一种基于超声心动图的心脏腔室三维重建方法及相关装置,基于待重建心脏腔室的超声心动图生成三维点云数据,对三维点云数据进行归一化处理,得到归一化点云数据,对预设的三维区域进行均匀采样,得到多个查询点,并对所有查询点的三维坐标进行归一化处理,得到每一查询点的归一化三维坐标,以归一化点云数据和每一查询点的归一化三维坐标作为输入,利用训练好的占用函数预测模型得到每一查询点的占用结果,基于所有查询点的归一化三维坐标和占用结果对待重建心脏腔室进行三维重建,得到待重建心脏腔室的初始三维模型,对初始三维模型进行反归一化处理,得到待重建心脏腔室的三维模型,不需要引入模板mesh,也不需要对模板mesh进行标注,省去了需要专业知识且费时费力的标注工作,能够简便且高效的完成心脏腔室的三维重建,帮助医生通过超声心动图准确、直观、定量地分析患者的心脏功能。
1.一种基于超声心动图的心脏腔室三维重建方法,其特征在于,所述基于超声心动图的心脏腔室三维重建方法包括:
2.根据权利要求1所述的基于超声心动图的心脏腔室三维重建方法,其特征在于,所述训练好的占用函数预测模型包括依次连接的编码器、融合模块和解码器;
3.根据权利要求2所述的基于超声心动图的心脏腔室三维重建方法,其特征在于,所述编码器包括依次连接的若干个第一多层感知机池化模块和一个多层感知机;所述第一多层感知机池化模块包括依次连接的多层感知机和池化层;
4.根据权利要求1所述的基于超声心动图的心脏腔室三维重建方法,其特征在于,基于待重建心脏腔室的超声心动图生成三维点云数据,具体包括:
5.根据权利要求1所述的基于超声心动图的心脏腔室三维重建方法,其特征在于,在以所述归一化点云数据和每一所述查询点的归一化三维坐标作为输入,利用训练好的占用函数预测模型得到每一所述查询点的占用结果之前,所述基于超声心动图的心脏腔室三维重建方法还包括:
6.根据权利要求1所述的基于超声心动图的心脏腔室三维重建方法,其特征在于,基于所有所述查询点的归一化三维坐标和占用结果对待重建心脏腔室进行三维重建,得到待重建心脏腔室的初始三维模型,具体包括:
7.一种基于超声心动图的心脏腔室三维重建装置,其特征在于,所述基于超声心动图的心脏腔室三维重建装置包括:
8.一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的基于超声心动图的心脏腔室三维重建方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于超声心动图的心脏腔室三维重建方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于超声心动图的心脏腔室三维重建方法。
