基于知识蒸馏的半监督医学图像分割方法

专利2025-12-22  23


本发明涉及半监督医学图像分割,具体是一种基于知识蒸馏的半监督医学图像分割方法。


背景技术:

1、语义分割是图像像素级别的精确分类技术,在医学影像分析中至关重要,尤其在处理三维ct和mri数据时,全监督学习方法受限于高昂的人工标注成本与复杂性。为解决深度学习在医学图像分割领域广泛应用的瓶颈问题,半监督医学图像分割研究应运而生并迅速成为热点,其关键在于利用少量标记数据结合大量未标记数据进行有效训练,以克服高成本标注难题。

2、半监督学习的核心难题在于如何有效挖掘和利用未标记数据资源。当前研究前沿已逐步从依赖生成对抗网络(gan)驱动的对抗性训练机制转向更为广泛的一致性正则化框架,并且自我训练策略也呈现出强劲的发展势头。在这一领域,共同教学和相互学习范式已被证明是颇具潜力的方法,通常涉及两个模型的同时并行训练。dmd则进一步将此类协同训练理念引入到知识蒸馏的范畴内,验证了通过知识蒸馏手段优化简化的模型结构同样能够实现卓越性能的事实。

3、近年来,先进的方法进一步探讨了图像级扰动和特征级扰动。在处理未标记图像时,施加各类扰动是一种常见策略,许多方法正致力于探索更广泛的扰动策略。而在图像分割领域,针对特征的扰动潜力十分巨大且未被充分挖掘,其针对encoder提取到的特征信息进行一定程度的扰动,并将扰动后的特征送入decoder。类似于一致性正则化,该过程通过利用轻度特征扰动产生的预测结果来指导和约束重度特征扰动下的训练,从而确保模型在不同级别扰动下对同一图像分割任务保持一致性表现。

4、在知识蒸馏与特征扰动技术的启迪下,本发明创新设计了distillmatch,对自我训练中的一致性正则化框架进行了深化和扩展。distillmatch通过对无标签数据的高维特征图进行由弱到强的扰动,并将扰动后的特征输入decoder解码,利用模型在不同强度扰动下的预测一致性进行内部知识迁移:弱扰动模型(教师)指导强扰动模型生)的学习过程,从而优化模型在未标记数据上的学习效能和泛化能力。在此过程中,设置了教师助理(ta)角色于self-kd结构内,以期弥合性能差距。同时,为了确保知识传递的有效性和准确性,本发明还提出了确定性知识传递策略(dkt),运用阈值方法过滤不确定性知识。


技术实现思路

1、本发明提出一种基于知识蒸馏的半监督医学图像分割方法,该方法提出了一种基于知识蒸馏和特征扰动的self-training训练框架,其专注于针对无标签数据的知识传递以应对医学影像分割的挑战,通过引入确定知识转移和教师助理来确保知识传递的正确性和减小能力差距,通过等效多解码器实现高性能计算,在2个基准数据集上的实验结果表明,与之前的最好结果相比,有显著性能提升,特别是在距离度量指标上,本方法采用的技术方案包含以下步骤:

2、步骤1:设计一个self-training训练框架,在编码器到解码器之间添加不同程度的特征扰动;

3、步骤2:在1)的解码器之间施加教师助理用于自身模型参数训练;

4、步骤3:在模型训练过程中引入确定知识转移机制用于半监督学习过程;

5、步骤4:使用高效多解码策略完成模型训练过程;

6、本发明提出的基于知识蒸馏的半监督医学图像分割方法,相对于传统半监督医学图像分割方法有以下优点:

7、(1)本发明提出了一种基于知识蒸馏和特征扰动的self-training训练框架,其专注于针对无标签数据的知识传递以应对医学影像分割的挑战,可以在半监督下有效分割医学图像。

8、(2)本发明通过引入确定知识转移和教师助理来确保知识传递的正确性和减小能力差距,通过等效多解码器实现高性能计算,在2个基准数据集上的实验结果表明,与之前的最好结果相比,有显著性能提升。



技术特征:

1.一种基于知识蒸馏的半监督医学图像分割方法,其特征在于,提出一种基于知识蒸馏和特征扰动的self-training训练框架,其专注于针对无标签数据的知识传递,引入确定知识转移和教师助理来确保知识传递的正确性和减小能力差距,通过多效解码器实现高性能计算,具体包括以下步骤:

2.如权利要求1所述的基于知识蒸馏的半监督医学图像分割方法,其特征在于,通过施加多特征扰动,在不依赖于ema的情况下生成一系列自我训练过程。

3.如权利要求1所述的基于知识蒸馏的半监督医学图像分割方法,其特征在于,借助多个教师助理网络可以缩小教师模型和学生模型之间的性能差距,其中不同扰动程度的解码器视为教师模型、助教模型。

4.如权利要求1所述的基于知识蒸馏的半监督医学图像分割方法,其特征在于,提出确定性知识转移作为控制策略,采用阈值参数对确定性知识进行筛选。

5.如权利要求1所述的基于知识蒸馏的半监督医学图像分割方法,其特征在于,引入等效的多解码器实现,即一次将多个扰动后的结果在batch维度堆叠起来,从而实现一次性前向传播,并保证不同特征扰动结果之间的独立性。


技术总结
本发明公开了一种基于知识蒸馏的半监督医学图像分割方法。包括步骤:设计一个Self‑Training训练框架,在编码器到解码器之间添加不同程度的特征扰动;在Self‑Training训练框架的解码器之间施加教师助理用于自身模型参数训练;在模型训练过程中引入确定知识转移机制用于半监督学习过程;使用高效多解码策略完成模型训练过程。本发明有效利用了无标记的数据样本,在2个基准数据集上的实验结果表明,与之前的最好结果相比,有显著性能提升。

技术研发人员:赵彬,王一凡
受保护的技术使用者:桂林电子科技大学
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-28448.html