本技术涉及图像分割，具体地，涉及一种基于多尺度特征融合的前列腺超声分割方法及装置。
背景技术：
1、近年来，一些深度学习的方法也被引入到有关前列腺超声图像的分割中。例如u-net是一个具有代表性的2d卷积神经网络，尽管u-net在图像分割任务中有着出色表现，但受限于其单一跳跃连接的方式使得模型无法融合来自多个不同层级的特征信息进而影响了分割效果。另外，2d分割网络仅能从二维平面提取特征，无法得到图像数据中的三维结构信息。这是因为2d分割网络在处理相邻切片之间的关系时存在着一定的局限性，它往往无法识别及构建出的目标区域的轮廓表征信息。相较于2d模型，3d模型更能详尽地关注到影像数据中的细节特征以及空间轮廓。此外，3d模型还有着能够同时处理一系列相邻影像切片数据的能力，这些影像切片通常描述为“堆栈”或“体积”。通过这种方式，3d模型能够更好地捕捉到物体和结构之间的空间关系。与2d模型相比，3d模型能够更全面地捕捉连续影像切片中的深度、高度、体积等特征，从而提供完整性更强、连贯性更强的图像信息。然而，3d网络的训练时往往需要更高的硬件配置以及更多的计算成本，所以在实际应用中需要充分考虑计算能力和存储资源的限制。
2、为了弥合2d和3d卷积神经网络之间的差距，2.5d的分割方法随之应运而生。现有技术中很多2.5d分割方法都是通过改进或设计新的架构将体积信息整合并融入到二维卷积中，以此来实现高效的体积医学图像分割。然而，2.5d的分割方式，虽然都可以为2d卷积神经网络带来性能的提升并且可以在低计算成本的情况下获取空间轮廓信息，但是却并不适用于经直肠超声这类厚层数据，该类数据由于其大量信息都存在于切面上且立体信息较少，因此无法像ct影像那样很容易就得到三个具有丰富信息的正交平面。此外，这些方法并未有效融入切片间的信息，它们都只是将三个平面(矢状面、冠状面、轴向面)输入到2d网络中训练，最后按位置叠加融合为分割结果。
技术实现思路
1、为了克服现有技术中的至少一个不足，本技术提供一种基于多尺度特征融合的前列腺超声分割方法及装置。
2、第一方面，提供一种基于多尺度特征融合的前列腺超声分割方法，包括：
3、构建前列腺超声分割模型；前列腺超声分割模型采用u-net网络，u-net网络包括编码器、解码器，编码器包括多个编码层，解码器包括多个解码层，每个编码层和每个解码层中的卷积模块均替换为混合卷积模块；编码器和解码器之间还设置有通道与空间注意力模块，空间注意力模块用于保留编码层输出的特征中的有用特征信息，有用特征信息输入到解码器中进行多尺度特征融合，并输出分割结果；
4、对前列腺超声分割模型进行训练，得到训练后的前列腺超声分割模型；
5、将待分割的前列腺超声图像输入到训练后的前列腺超声分割模型，得到分割结果。
6、在一个实施例中，混合卷积模块包括：第一3d卷积块、第一2d卷积块、第二2d卷积块、第二3d卷积块和2.5d卷积块；
7、混合卷积模块的输入经过第一3d卷积块、第一2d卷积块后输入到2.5d卷积块；
8、混合卷积模块的输入经过第二2d卷积块、第二3d卷积块后输入到2.5d卷积块；
9、2.5d卷积块对2个输入分别进行2.5d卷积操作，并将卷积结果融合输出。
10、在一个实施例中，编码器设置有5个编码层，分别记为第一编码层、第二编码层、第三编码层、第四编码层、第五编码层；解码器设置有4个解码层，分别记为第一解码层、第二解码层、第三解码层、第四解码层；
11、通道与空间注意力模块设置有5个通道与空间注意力机制，分别记为第一通道与空间注意力机制、第二通道与空间注意力机制、第三通道与空间注意力机制、第四通道与空间注意力机制、第五通道与空间注意力机制；
12、第一通道与空间注意力机制、第二通道与空间注意力机制、第三通道与空间注意力机制、第四通道与空间注意力机制、第五通道与空间注意力机制的输出均输入到第一解码层进行多尺度融合操作，得到第一融合结果；
13、第一通道与空间注意力机制、第二通道与空间注意力机制、第三通道与空间注意力机制的输出和第一融合结果均输入到第二解码层进行多尺度融合操作，得到第二融合结果；
14、第一通道与空间注意力机制、第二通道与空间注意力机制的输出和第二融合结果均输入到第三解码层进行多尺度融合操作，得到第三融合结果；
15、第一通道与空间注意力机制的输出和第三融合结果输入到第四解码层进行多尺度融合操作，得到分割结果。
16、在一个实施例中，第一通道与空间注意力机制的输出在输入到解码层后先进行最大池化操作，再与解码层的其他输入进行融合；
17、第二通道与空间注意力机制的输出在输入到解码层后先进行最大池化操作，再与解码层的其他输入进行融合；
18、第三通道与空间注意力机制的输出在输入到解码层后先进行混合卷积操作，再与解码层的其他输入进行融合；
19、第四通道与空间注意力机制的输出在输入到解码层后先进行双线性插值操作，再与解码层的其他输入进行融合；
20、第五通道与空间注意力机制的输出在输入到解码层后先进行双线性插值操作，再与解码层的其他输入进行融合；
21、第一解码层、第二解码层、第三解码层的输出在输入到下一个解码层后先进行双线性插值操作，再与解码层的其他输入进行融合。
22、第二方面，提供一种基于多尺度特征融合的前列腺超声分割装置，包括：
23、模型构建模块，用于构建前列腺超声分割模型；前列腺超声分割模型采用u-net网络，u-net网络包括编码器、解码器，编码器包括多个编码层，解码器包括多个解码层，每个编码层和每个解码层中的卷积模块均替换为混合卷积模块；编码器和解码器之间还设置有通道与空间注意力模块，空间注意力模块用于保留编码层输出的特征中的有用特征信息，有用特征信息输入到解码器中进行多尺度特征融合，并输出分割结果；
24、模型训练模块，用于对前列腺超声分割模型进行训练，得到训练后的前列腺超声分割模型；
25、分割模块，用于将待分割的前列腺超声图像输入到训练后的前列腺超声分割模型，得到分割结果。
26、在一个实施例中，混合卷积模块包括：第一3d卷积块、第一2d卷积块、第二2d卷积块、第二3d卷积块和2.5d卷积块；
27、混合卷积模块的输入经过第一3d卷积块、第一2d卷积块后输入到2.5d卷积块；
28、混合卷积模块的输入经过第二2d卷积块、第二3d卷积块后输入到2.5d卷积块；
29、2.5d卷积块对2个输入分别进行2.5d卷积操作，并将卷积结果融合输出。
30、在一个实施例中，编码器设置有5个编码层，分别记为第一编码层、第二编码层、第三编码层、第四编码层、第五编码层；解码器设置有4个解码层，分别记为第一解码层、第二解码层、第三解码层、第四解码层；
31、通道与空间注意力模块设置有5个通道与空间注意力机制，分别记为第一通道与空间注意力机制、第二通道与空间注意力机制、第三通道与空间注意力机制、第四通道与空间注意力机制、第五通道与空间注意力机制；
32、第一通道与空间注意力机制、第二通道与空间注意力机制、第三通道与空间注意力机制、第四通道与空间注意力机制、第五通道与空间注意力机制的输出均输入到第一解码层进行多尺度融合操作，得到第一融合结果；
33、第一通道与空间注意力机制、第二通道与空间注意力机制、第三通道与空间注意力机制的输出和第一融合结果均输入到第二解码层进行多尺度融合操作，得到第二融合结果；
34、第一通道与空间注意力机制、第二通道与空间注意力机制的输出和第二融合结果均输入到第三解码层进行多尺度融合操作，得到第三融合结果；
35、第一通道与空间注意力机制的输出和第三融合结果输入到第四解码层进行多尺度融合操作，得到分割结果。
36、在一个实施例中，第一通道与空间注意力机制的输出在输入到解码层后先进行最大池化操作，再与解码层的其他输入进行融合；
37、第二通道与空间注意力机制的输出在输入到解码层后先进行最大池化操作，再与解码层的其他输入进行融合；
38、第三通道与空间注意力机制的输出在输入到解码层后先进行混合卷积操作，再与解码层的其他输入进行融合；
39、第四通道与空间注意力机制的输出在输入到解码层后先进行双线性插值操作，再与解码层的其他输入进行融合；
40、第五通道与空间注意力机制的输出在输入到解码层后先进行双线性插值操作，再与解码层的其他输入进行融合；
41、第一解码层、第二解码层、第三解码层的输出在输入到下一个解码层后先进行双线性插值操作，再与解码层的其他输入进行融合。
42、第三方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，以实现上述的基于多尺度特征融合的前列腺超声分割方法。
43、第四方面，提供一种计算机程序产品，其特征在于，包括计算机程序/指令，计算机程序/指令被处理器执行时，以实现上述的基于多尺度特征融合的前列腺超声分割方法。
44、相对于现有技术而言，本技术具有以下有益效果：
45、1、本技术针对u-net模型中编解码器只能进行相同尺度的信息传递而产生的语义鸿沟，引入了多尺度跳跃连接的方式，模型能够更有效地提取前列腺影像中目标区域的多尺度特征信息。同时，加入了通道与空间注意力机制msa(multi-scale-attention)，通过注意力机制筛选出空间或通道中不重要的特征信息，从而保留更为关键的特征信息，并且将msa模块加入到每个上采样操作中，使模型能够关注到各个尺度切片中有用的特征信息，从而提升分割精度。
46、2、本技术在u-net模型的基础上，将其卷积全部替换为混合卷积，该混合卷积里所包含的2d与3d cnn能同时进行局部和空间信息的捕获并且各维度支路上设有特征融合过程，目的是将这二维和三维特征进行合并，使得整个2.5d模型既能够捕获各个维度上的表征，又不需要大量的参数和计算成本。旨在实现良好分割精度的同时，降低计算成本，实现了前列腺影像的精确分割。
1.一种基于多尺度特征融合的前列腺超声分割方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述混合卷积模块包括：第一3d卷积块、第一2d卷积块、第二2d卷积块、第二3d卷积块和2.5d卷积块；
3.如权利要求1所述的方法，其特征在于，所述编码器设置有5个编码层，分别记为第一编码层、第二编码层、第三编码层、第四编码层、第五编码层；所述解码器设置有4个解码层，分别记为第一解码层、第二解码层、第三解码层、第四解码层；
4.如权利要求3所述的方法，其特征在于，所述第一通道与空间注意力机制的输出在输入到解码层后先进行最大池化操作，再与解码层的其他输入进行融合；
5.一种基于多尺度特征融合的前列腺超声分割装置，其特征在于，包括：
6.如权利要求5所述的装置，其特征在于，所述混合卷积模块包括：第一3d卷积块、第一2d卷积块、第二2d卷积块、第二3d卷积块和2.5d卷积块；
7.如权利要求5所述的装置，其特征在于，所述编码器设置有5个编码层，分别记为第一编码层、第二编码层、第三编码层、第四编码层、第五编码层；所述解码器设置有4个解码层，分别记为第一解码层、第二解码层、第三解码层、第四解码层；
8.如权利要求7所述的装置，其特征在于，所述第一通道与空间注意力机制的输出在输入到解码层后先进行最大池化操作，再与解码层的其他输入进行融合；
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，以实现权利要求1-4任意一项所述的基于多尺度特征融合的前列腺超声分割方法。
10.一种计算机程序产品，其特征在于，包括计算机程序/指令，所述计算机程序/指令被处理器执行时，以实现权利要求1-4任意一项所述的基于多尺度特征融合的前列腺超声分割方法。
