一种利用牙冠边缘信息的两阶段深度学习牙冠分割方法

专利2025-05-27  19


本发明属于牙齿分割领域,尤其涉及一种利用牙冠边缘信息的两阶段深度学习牙冠分割方法。


背景技术:

1、牙齿口扫数据在口腔医疗中有着重要的作用,口扫数据一般以三维网格的形式存储,具有数据量大,拓扑关系复杂的特点。目前对牙齿三维网格模型的分割算法可以分为传统算法和深度学习算法。

2、传统算法可以分为基于曲率的分割、基于路径的分割。三维牙齿模型的牙隙和牙冠-牙龈连接处的曲率和拓扑信息会出现变化。传统方法需要依靠这些预先设计好的几何特征对牙齿进行分割,而对这些特征的选取需要用户指定参数,参数极大程度上决定了分割的结果,算法鲁棒性较差。

3、基于深度学习的分割算法则呈现出百花齐放的特点。根据不同的需求采用了诸如cnn,u-net,mask r-cnn等架构,通过大量数据的训练提高了鲁棒性。但为了获取全面的空间信息或者让分割结果符合牙齿的几何结构,往往需要对数据进行复杂的预处理或者后处理步骤。

4、现有的一种技术方法为基于表面曲率的方法。三维空间中的曲率反映了曲面偏离平面的程度,可以利用在牙冠和牙龈连接处以及牙隙处的曲率变化进行分割;典型的算法流程为:

5、1.牙齿数据对准:用户需要在牙齿三维模型上标记四个参照点,确定牙齿模型空间的原点;

6、2.计算顶点曲率,初步确定特征点;

7、3.滤波,清理数据:滤除在第2步中引入的噪声点,具体为将点密度低于用户规定阈值的区域内顶点进行清理;此外在滤除之后还需要用户自行选择位于非牙冠区域,但密度符合要求的顶点进行擦除;

8、4.形态学处理,清理边界:在牙冠-牙龈边界处的点需要进行形态学处理,以保持一条清晰的边界;

9、5.选取特征线:基于第4步得到的特征骨架,用户需要在牙齿空隙之间选择一个点,并基于距离该点最近的特征骨架上的点使用四次方程拟合,得到牙弓曲线,即所需的特征线;

10、6.闭合特征轮廓:使用dijkstra最短路算法闭合第5步中得到的特征线,对于牙齿和牙龈之间的分界线闭合,和牙齿之间的分界线闭合两类情况,规定了对应情况在dijkstra算法中的边权。

11、该方法鲁棒性不足:初值的选取极大程度决定了分割的结果,不恰当的初值可能造成分割不足或者过分割的情况。用户交互复杂:算法的全周期几乎都需要用户进行手动操作,操作复杂;并且对操作的要求较高,不恰当的交互也会极大影响分割结果。

12、现有的另一种方法为基于深度学习的分割方法。传统方法大多基于提前设计的几何特征进行分割,在算法鲁棒性上表现不足,深度学习方法能很好地克服这一缺点。提出的meshsegnet是目前精度较高的深度学习牙齿模型自动分割方法。该方法考虑了不同尺度上的牙齿网格模型单元格的空间特征,并使用图切割的方法处理分割结果。

13、该方法的缺点为在得到预测概率之后,还需要使用图分割方法对分割结果加上限制。此外图分割方法本身对参数十分敏感,也会降低算法鲁棒性。

14、为此,需要一种鲁棒性好,同时不需要复杂的数据预处理的牙齿口扫数据分割方法。


技术实现思路

1、针对现有技术中的上述不足,本发明提供的一种利用牙冠边缘信息的两阶段深度学习牙冠分割方法解决了现有的牙齿分割方法在数据后处理复杂度和鲁棒性无法平衡的问题。

2、为了达到上述发明目的,本发明采用的技术方案为:一种利用牙冠边缘信息的两阶段深度学习牙冠分割方法,包括以下步骤:

3、s1、通过口扫设备获取牙齿数据,对牙齿数据进行网格划分,获得牙齿网格数据;

4、s2、对牙齿网格数据使用最远点采样,获得牙齿网格数据的第一采样点集;

5、s3、根据牙齿网格数据的第一采样点集,利用牙齿分割网络,得到牙齿语义标签和第一牙齿实例标签;

6、s4、根据第一牙齿实例标签,使用边界感知采样,获得牙齿网格数据的第二采样点集;

7、s5、将牙齿网格数据的第二采样点集输入牙齿分割网络,得到第二牙齿实例标签;

8、s6、合并第一牙齿实例标签和第二牙齿实例标签,结合牙齿语义标签,得到最终的牙齿实例标签。

9、进一步地,所述步骤s2具体为:

10、s201、根据牙齿网格数据,从顶点组成的包含n个点的点云中,选取一个点p0作为起始点,得到采样点集合s={p0};

11、s202、计算点云中所有点到p0的距离,构成n维数组l={li},从中选择距离最大值对应的点加入采样点集合;其中,li为第i个点pi到采样点集合的最短距离;

12、s203、以采样点集合中最新加入的采样点作为中心点,计算点云中除采样点集合中的采样点外所有点到中心点的距离,对于每一个点pi,判断到中心点的距离是否小于li,若是,更新li,否则,不更新;

13、s204、选取l中距离最大值对应的点加入采样点集合;

14、s205、重复步骤s203-s204,直到采样点集合中的采样点的数量达到设定数值n',得到第一采样点集合。

15、进一步地,所述步骤s3中牙齿分割网络包括第一point transformer模块、点云偏移模块、标签过滤模块、聚类模块、裁剪模块、第二point transformer模块和标签输出模块;

16、所述第一point transformer模块,用于根据输入的采样点集合,得到各采样点的牙齿语义标签和偏移距离;

17、所述点云偏移模块,用于根据各采样点的偏移距离,将输入的采样点集合中的采样点向牙齿实例的中心点移动,得到移动后的点云数据集;

18、所述标签过滤模块,用于根据各采样点的牙齿语义标签,将移动后的点云数据集中标签为牙龈的点云剔除,得到过滤后的样本点;

19、所述聚合模块,用于对过滤后的样本点使用dbscan方法进行聚类,为每个过滤后的样本点分配牙齿实例标签,并基于聚类的牙齿实例标签按照最近邻原则为未被采样点集合中的点云分配牙齿实例标签,得到各点云的牙齿实例标签;所述未被采样点集合为将输入的采样点集合中的点云从牙齿网格数据的点云中剔除后得到的采样点集合;

20、所述裁剪模块,用于根据各点云的牙齿实例标签,获取各牙齿实例的中心点位置,并基于各牙齿实例的中心点位置设置一个半径阈值裁剪第一采样点集合中的采样点,得到裁剪后的样本点;

21、所述第二point transformer模块,用于根据裁剪后的样本点,得到各采样点的牙齿-牙龈掩膜;

22、所述标签输出模块,用于将各采样点的牙齿-牙龈掩膜与各点云的牙齿实例标签进行一一对应,若采样点的牙齿-牙龈掩膜与牙齿实例标签均为牙齿或牙龈,不做处理,若采样点的牙齿-牙龈掩膜显示为牙齿,牙齿实例标签显示为牙龈,则将采样点的牙齿实例标签更改为最邻近点的牙齿实例标签,若采样点的牙齿-牙龈掩膜显示为牙龈,牙齿实例标签显示为牙齿,则将采样点的牙齿实例标签更改为牙龈,将各点更改后的牙齿实例标签作为输出数据。

23、进一步地,所述牙齿分割网络的损失函数为:

24、l=lcenter_offset+lweighted_center_offset+lchamfer+ltooth_class+lteeth_mask

25、

26、其中,l为牙齿分割网络的损失函数;lcenter_offset为中心偏移损失;lweighted_center_offset为中心加权偏移损失;lchamfer为距离损失;ltooth_class为牙齿分类损失;lteeth_mask为牙齿掩码损失;c为类别数;ni为第i类中的点的数量;xj为第i类中第j个点的坐标;oj为第i类中第j个点相对实例中心点坐标c的偏移量;d()为两个空间点之间的距离;d为所有方向向量种类的数量;ni'为第i'类方向向量中的点的数量;dj'为第j'个点的方向向量;d'j'为第j'个点指向实例中心点坐标c的方向向量;wj为对应距离的权重;c1为距离xj最近的实例中心点坐标;c2为距离xj第二近的实例中心点坐标;crossentropy(p,y)为交叉熵函数;p为分类的概率;y为实际的类型标签;n为样本点总数;r为样本点编号;yr,i为第r个点在第i类的标签;pr,i为第r个点被预测为第i类的概率;yr为第r个点的真实标签;pr为第r个点的预测值;σ()为sigmoid函数。

27、进一步地,所述步骤s3具体为:将牙齿网格数据的第一采样点集作为输入的采样点集合,输入牙齿分割网络,提取第一point transformer模块得到的牙齿语义标签,同时将输出数据作为第一牙齿实例标签输出。

28、进一步地,所述步骤s4具体为:

29、s401、获取牙齿网格数据中每个点的坐标,构建k维搜索树;

30、s402、基于k维搜索树,搜索每个点的k个近邻点;

31、s403、根据第一牙齿实例标签,求解每个点的k个近邻点中与对应点的牙齿实例标签不同的点的占比,作为边界判据:

32、

33、其中,p1r为第r个点的边界判据;dif(kr)为k个近邻点中与第r个点的牙齿实例标签不同的点的数量;k为近邻点总数;

34、s404、将边界判据大于设定阈值的点的集合作为牙齿网格数据的第二采样点集。

35、进一步地,所述步骤s5具体为:将牙齿网格数据的第二采样点集作为输入的采样点集合,输入牙齿分割网络,将第一point transformer模块得到的牙齿语义标签替换为步骤s3中获取的牙齿语义标签,并将输出数据作为第二牙齿实例标签输出。

36、进一步地,所述步骤s6具体为:

37、s601、合并第一牙齿实例标签和第二牙齿实例标签,得到合并后的牙齿实例标签;

38、s602、根据合并后的牙齿实例标签,通过对相应牙齿实例内的牙齿语义标签进行多数表决,决定每个牙齿实例的类别;所述牙齿语义标签为步骤s3得到的牙齿语义标签;

39、s603、根据合并后的牙齿实例标签和每个牙齿实例的类别,得到最终的牙齿实例标签。

40、本发明的有益效果为:本发明基于point transformer提出了一种网络架构,在能拥有深度学习分割算法鲁棒性的同时,利用牙齿边缘信息进行两阶段的分割,无需复杂的后处理步骤,直接得到牙齿实例的标签。无需复杂且对参数敏感的后处理步骤,直接得到分割的牙齿实例标签;无需设计复杂的几何特征,具有鲁棒性。


技术特征:

1.一种利用牙冠边缘信息的两阶段深度学习牙冠分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述利用牙冠边缘信息的两阶段深度学习牙冠分割方法,其特征在于,所述步骤s2具体为:

3.根据权利要求1所述利用牙冠边缘信息的两阶段深度学习牙冠分割方法,其特征在于,所述步骤s3中牙齿分割网络包括第一point transformer模块、点云偏移模块、标签过滤模块、聚类模块、裁剪模块、第二point transformer模块和标签输出模块;

4.根据权利要求3所述利用牙冠边缘信息的两阶段深度学习牙冠分割方法,其特征在于,所述牙齿分割网络的损失函数为:

5.根据权利要求3所述利用牙冠边缘信息的两阶段深度学习牙冠分割方法,其特征在于,所述步骤s3具体为:将牙齿网格数据的第一采样点集作为输入的采样点集合,输入牙齿分割网络,提取第一point transformer模块得到的牙齿语义标签,同时将输出数据作为第一牙齿实例标签输出。

6.根据权利要求1所述利用牙冠边缘信息的两阶段深度学习牙冠分割方法,其特征在于,所述步骤s4具体为:

7.根据权利要求3所述利用牙冠边缘信息的两阶段深度学习牙冠分割方法,其特征在于,所述步骤s5具体为:将牙齿网格数据的第二采样点集作为输入的采样点集合,输入牙齿分割网络,将第一point transformer模块得到的牙齿语义标签替换为步骤s3中获取的牙齿语义标签,并将输出数据作为第二牙齿实例标签输出。

8.根据权利要求1所述利用牙冠边缘信息的两阶段深度学习牙冠分割方法,其特征在于,所述步骤s6具体为:


技术总结
本发明公开了一种利用牙冠边缘信息的两阶段深度学习牙冠分割方法,属于牙齿分割领域,该方法包括通过口扫设备获取牙齿数据,对牙齿数据进行网格划分,获得牙齿网格数据;对牙齿网格数据使用最远点采样,获得牙齿网格数据的第一采样点集;根据牙齿网格数据的第一采样点集,利用牙齿分割网络,得到牙齿语义标签和第一牙齿实例标签;根据第一牙齿实例标签,使用边界感知采样,获得牙齿网格数据的第二采样点集;将牙齿网格数据的第二采样点集输入牙齿分割网络,得到第二牙齿实例标签;合并第一牙齿实例标签和第二牙齿实例标签,结合牙齿语义标签,得到最终的牙齿实例标签。本发明解决了现有的牙齿分割方法在数据后处理复杂度和鲁棒性无法平衡的问题。

技术研发人员:雷逸东,李纯明
受保护的技术使用者:电子科技大学长三角研究院(衢州)
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-24700.html