本发明属于医学图像处理,尤其涉及基于分支生长神经网络架构搜索的腹部ct图像分割方法。
背景技术:
1、医学图像分割是医学图像分析的关键步骤。卷积神经网络(convolutionalneutral network,cnn)逐渐被广泛应用于医学图像分割,其中以编码器-解码器结构的u-net为代表。后续基于u-net的改进模型较多,例如xiao等人将残差块与u-net进行结合提出了res-unet,通过将残差连接添加到卷积块间,在视网膜血管分割任务中取得了令人满意的结果;为增强上下文信息提取,huang等人提出的fecc-net在u-net基础上添加aspp模块和增强编码器分支,提高了脑部mri图像分割准确性;oktay等人将注意力机制和u-net相结合,提出了attention u-net,在腹部胰腺分割任务中取得了良好的性能。虽然cnn在医学分割任务中取得了显著进展,然而其在捕捉全局特征方面仍存在一些固有缺陷,其感受野有限,无法捕捉全局信息,全局建模能力不足。为了解决这一问题,研究者提出了多种改进方法,例如密集连接、图像金字塔、自注意力等模块。同时,受transformer在自然语言处理领域成功的启发,基于transformer结构提出了视觉注意力模型(vision transformer,vit),利用自注意力机制捕获输入序列中各个位置之间的依赖关系,成功解决长距离依赖问题。通过自注意力机制学习图像中的所有图像块获取全局依赖关系在医学图像分割领域也表现出色,例如chen等人首次在医学图像分割领域利用transformer的全局上下文建模能力和u-net的高分辨率定位能力,在多器官分割任务中取得了良好的性能;zhang等人提出了一种transformer分支和cnn分支两个编码器并行的模型,在结肠息肉、皮肤、前列腺等分割任务中都取得了良好的分割结果。虽然这些方法在医学分割领域都获得了较好的效果,但这些网络都是手工设计的,适应性差。
技术实现思路
1、为解决上述技术问题,本发明提出了基于分支生长神经网络架构搜索的腹部ct图像分割方法,提升腹部ct图像分割准确性。
2、为实现上述目的,本发明提供了基于分支生长神经网络架构搜索的腹部ct图像分割方法,包括:
3、基于局部宽度分支和全局深度分支,构建搜索空间网络;
4、基于所述搜索空间网络交替对编码器的可生长下采样层进行所述局部宽度分支和所述全局深度分支的接入,构建生长后的候选网络;
5、对所述生长后的候选网络进行训练和测试,获得图像分割模型;
6、获取待测的腹部ct图像数据,输入所述图像分割模型,完成腹部ct图像分割。
7、可选的,所述局部宽度分支conv和res2net组成,采用conv+res2net×n结构,其中res2net×n表示n个res2net模块。
8、可选的,所述全局深度分支由transformer层组成,所述transformer层通过自注意力机制在全局范围内捕获长距离依赖的全局特征。
9、可选的,所述可生长下采样层由池化层、卷积层、分支接入层组成;
10、所述池化层,用于缩小特征图尺度以便于提取不同尺度特征;
11、所述卷积层,用于提取局部特征;
12、所述分支接入层,用于接入新的分支,使网络能够持续生长。
13、可选的,所述分支接入层设置一个visited属性,用于区分是否被分支接入,包括没有分支接入情况和有分支接入情况;
14、处于没有分支接入情况下,将直接跳过所述分支接入层,将所述卷积层处理后的结果作为最终输出;
15、处于有分支接入情况下,将卷积层处理后的输出与接入分支进行拼接层融合,并通过卷积进行维度规范化。
16、可选的,所述生长后的候选网络的实现过程包括:
17、第一代生长初始编码器从编码器搜索接入的可生长的下采样层并接入第一个局部宽度分支,生长后得到编码器第一代生长;所述编码器第一代生长从深度方向生长,在最后的可生长的下采样层后接入第一个全局深度分支,得到编码器第二代生长;编码器第二代生长继续搜索接入的可生长的下采样层并接入新的局部宽度分支,得到编码器第三代生长;编码器第三代生长在最后一个全局深度分支后接入新的全局深度分支,如此反复。
18、本发明技术效果:本发明公开了基于分支生长神经网络架构搜索的腹部ct图像分割方法,为了自动构建网络模型,本发明提出了一种局部-全局分支迭代式生长算法,使网络在上一代网络模型上进行生长,实现了网络架构的动态扩展,并且每一代的训练都是基于上一代的网络参数进行初始化,从而减少训练时间。为了使网络有效的获取多尺度特征以及全局上下文信息,本发明以res2net模块和transformer模块为基础设计生长分支,在深度和宽度两个方向对网络进行生长,进而获取更丰富的语义信息。在synapse多器官ct图像数据集上验证了生成的网络,实验结果表明本发明与人工设计的图像分割方法相比,评估精度更高。
1.基于分支生长神经网络架构搜索的腹部ct图像分割方法,其特征在于,包括:基于局部宽度分支和全局深度分支,构建搜索空间网络;
2.如权利要求1所述的基于分支生长神经网络架构搜索的腹部ct图像分割方法,其特征在于,所述局部宽度分支conv和res2net组成,采用conv+res2net×n结构,其中res2net×n表示n个res2net模块。
3.如权利要求1所述的基于分支生长神经网络架构搜索的腹部ct图像分割方法,其特征在于,所述全局深度分支由transformer层组成,所述transformer层通过自注意力机制在全局范围内捕获长距离依赖的全局特征。
4.如权利要求1所述的基于分支生长神经网络架构搜索的腹部ct图像分割方法,其特征在于,所述可生长下采样层由池化层、卷积层、分支接入层组成;
5.如权利要求4所述的基于分支生长神经网络架构搜索的腹部ct图像分割方法,其特征在于,所述分支接入层设置一个visited属性,用于区分是否被分支接入,包括没有分支接入情况和有分支接入情况;
6.如权利要求5所述的基于分支生长神经网络架构搜索的腹部ct图像分割方法,其特征在于,所述生长后的候选网络的实现过程包括:
