本发明涉及医学图像处理，具体涉及一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法。
背景技术：
1、视网膜血管的精准分割在眼科疾病的诊断与筛查中具有重要意义，尤其在糖尿病视网膜病变、青光眼、高血压视网膜病变等疾病的早期检测中，血管结构的细节分析至关重要。然而，视网膜图像存在背景复杂、对比度低、噪声干扰等因素，导致血管的精确分割成为一项具有挑战性的任务。
2、传统的视网膜血管分割方法主要包括基于边缘检测、阈值分割和区域生长等经典图像处理技术。这些方法虽然在某些情况下能够取得一定效果，但对于复杂背景、细小血管和病变区域的分割能力有限，难以满足临床诊断的高精度要求。
3、近年来，深度学习技术的快速发展为视网膜血管分割提供了新的思路。基于卷积神经网络(cnn)的分割方法通过对大规模标注数据的训练，能够在复杂场景下取得较为优异的分割效果。然而，现有的深度学习方法在处理多尺度血管结构、提取细小血管特征以及应对复杂背景时，仍存在一定的局限性。因此，如何结合特征增强与多尺度感知特征融合技术，进一步提升视网膜血管分割的准确性和鲁棒性，成为当前研究的热点问题。
技术实现思路
1、本发明针对现有视网膜血管分割方法在处理多尺度血管结构、提取细小血管特征以及应对复杂背景的不足，提出了一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，包括以下步骤：
2、s1：构建特征增强网络并进行特征增强：
3、使用两个镜像对称的生成对抗网络gan构成一个环形网络，从而构建特征增强网络，该网络架构由两个发生器(g1和g2)和两个鉴别器(d1和d2)组成；
4、发生器g1将相应的低质量图像生成假的高质量图像，而发生器g2则是将高质量图像生成假的低质量图像，同时，当生成假图像时，鉴别器d1用于区分真实的低质量图像和假的低质量图像，鉴别器d2用于区分真实的高质量图像和假的高质量图像，通过这种方式，模型将低质量的图像转换为高质量的图像，并将图像输入到特征增强网络进行特征增强；
5、s2：对步骤s1特征增强后的图像进行二次特征增强；
6、s3：训练集、测试集划分和对划分后的训练集进行数据增强，增加图像的数量和增强数据的多样性；
7、s4：构建基于多尺度感知特征融合的视网膜血管分割网络：
8、结合设计的密集上采样卷积模块、并联尺度卷积模块、多尺度感知特征融合模块和多尺度空洞卷积跳跃连接构建多尺度感知特征融合的视网膜血管分割网络，其中并联尺度卷积模块用于增强对血管特征的表达能力和重用性，多尺度感知特征融合模块用于对最底层的特征信息进行多尺度的卷积操作，多尺度空洞卷积跳跃连接用于连接网络的编码器和解码器，密集上采样卷积模块用于解码器，实现高效的上采样；
9、s5：损失函数选择；
10、s6：训练和测试构建的分割网络：
11、在实验过程中，不断调试网络参数，得到最优的训练网络模型，再测试该模型，并进行性能评估，得到最终的视网膜血管分割网络模型；
12、s7：与经典分割网络进行分割性能对比：
13、将步骤s6得到的最终视网膜血管分割网络模型与u-net、r2u-net、sa-unet、fr-unet、genetic u-net、mfi-net六种经典分割网络进行实验对比测试，并对所有网络模型进行性能评估，以进一步验证本发明方法的性能优越性。
14、步骤s1中，特征增强网络的发生器构建过程如下：
15、发生器设计：发生器g1和g2是全卷积网络，由3个下采样、9个残差块和3个上采样块组成；每个下采样块由卷积层、实例归一化和relu激活组成，卷积层中通道数分别为64、128和256，卷积核大小和步长分别为(7×7)、(3×3)、(3×3)和(1×1)、(2×2)、(2×2)；残差块中卷积层的通道数均为256，卷积核大小均为(3×3)，步长均为(1×1)；每个上采样块由转置卷积层、实例归一化和relu激活组成，转置卷积层中通道数分别为128、64和3，卷积核大小和步长分别为(3×3)、(3×3)、(7×7)和(2×2)、(2×2)、(1×1)，最后一个上采样块的输出再通过tanh激活得到最终结果。
16、步骤s1中，特征增强网络的发生器损失函数选择过程如下：
17、发生器损失函数选择：根据周期一致性，从一个域到另一个域生成的图像应该可以转换回原始域，而且不会有明显的变化，选用的周期一致性损失函数的表达式为：
18、lcyc(x,g2(y),y,g1(x))＝ex[||x-g2(y)||1]+ey[||y-g1(x)||1]
19、将x转换为y(即y＝g1(x))然后再转换回x(即x＝g2(y))称为向前循环一致性，将y转换为x(即x＝g2(y))然后再转换回y(即y＝g1(x))称为逆循环一致性，该损失确保经过两次发生器转换后的图像能够尽可能接近原始图像，从而保证域间转换的稳定性和一致性。
20、步骤s1中，特征增强网络的鉴别器构建过程如下：
21、鉴别器设计：鉴别器d1和d2由5个下采样块和一个输出卷积层组成；每个下采样块由卷积层、实例归一化和leakyrelu激活组成，卷积层中通道数分别为64、128、256、512、512，卷积核大小均为(4×4)，步长分别为(2×2)、(2×2)、(2×2)、(2×2)、(1×1)；输出卷积层中通道数为1，卷积核大小为(4×4)，步长为(1×1)。
22、步骤s1中，特征增强网络的鉴别器损失函数选择过程如下：
23、鉴别器损失函数选择：d1和d2使用均方误差来判断这些图像是真实的还是假的，损失函数的表达式为：
24、lxgy(d1,x,g1(x))＝ex[log(d1(x))]+eg1(x)[log(1-d1(g1(x)))]
25、lygx(d2,y,g2(y))＝ey[log(d2(y))]+eg2(y)]log(1-d2(g2(y)))]
26、发生器g1将给定的低质量图像x转换为高质量的图像y(即y＝g1(x))，而发生器g2则将高质量的图像y转换为低质量的图像x(即x＝g2(y))；之后，鉴别器d1接收到两个图像x和g2(y)，鉴别器d2接收到y和g1(x)作为输入；通过该损失，鉴别器可以更好地区分真实图像和假图像，从而推动发生器生成更加逼真的图像。
27、步骤s2处理过程如下：
28、s2.1：利用多尺度灰度变换和group whitening操作将rgb图像转化为单通道的灰度图像，同时过滤部分噪声；
29、s2.2：采用lime(low-lightimage enhancement)进行图像增强，突出视网膜血管的特征；
30、s2.3：利用结构化对比度增强(structured contrast enhancement)方法保留视网膜图像中的细节特征，同时提升整体对比度；
31、s2.4：利用基于图像梯度的特征缩放(gradient-basedfeature scaling)通过图像梯度信息引导特征缩放，确保重要的边缘和细节区域在缩放过程中不被模糊化。
32、步骤s3中，选用medaug库和fastaiaugmentation方法来扩增训练集；使用局部特征扰动扩增(local feature perturbation)方法在视网膜图像的局部区域进行轻微的扰动或噪声注入，使模型对局部特征的鲁棒性提升；再使用color augmentation libraries进行多样性调整，丰富训练样本的特征。
33、步骤s4中，各模块的具体构建过程如下：
34、设计并联尺度卷积模块，将3×3卷积层、denseblock、dropblock(block size设置为7)、bn层和shilu激活层相级联形成主分支，计算如下：
35、f(xi)＝shilu(bn(dp(db(conv3×3(xi)))))
36、同时，将1×1卷积层、bn层和shilu激活层相级联形成旁路分支，计算如下：
37、f(xi)＝shilu(bn(conv1×1(xi)))
38、最后，主分支和旁路分支的输出进行特征融合：
39、xo＝f(xi)+f(xi)
40、式中：xi表示输入，f(xi)表示旁路计算，f(xi)表示主分支计算，xo表示输出；
41、设计多尺度感知特征融合模块，将4个间隔卷积级联连接，间隔率r＝[1,2,3,4]，卷积核的尺寸均为3×3；每个分支还通过残差连接参与最终特征的融合过程，特征融合后的输出经过一个1×1的卷积层、bn层和shilu激活，最后和原始输入特征进行通道拼接；
42、设计多尺度空洞卷积跳跃连接，输入的视网膜血管特征先经过3×3卷积层、bn层和shilu激活，再通过级联空洞率r＝[1,3,5]和卷积核为1×1的多尺度空洞卷积处理如下：
43、
44、式中：p(x)表示初步处理，d(x)表示三条路径的输出融合；
45、最后，输出通过1×1卷积层、bn层和swlu激活与通过残差结构输入的原始特征进行特征融合。
46、各模块中shilu激活的表达式如下：
47、shilu(x)＝α×relu(x)+β
48、式中：x是输入特征的值，α和β是可训练参数，在实验中通过训练确定最佳值；
49、多尺度空洞卷积跳跃连接中swlu激活的表达式如下：
50、
51、式中：x是输入特征的值，swlu激活在处理平滑过渡时表现良好，同时保留非线性特征。
52、步骤s4中，总体网络使用4层编码和解码结构。编码阶段，编码器的第一层通过两层并联尺度卷积模块和最大池化层进行下采样，生成32个特征映射，输出到第二层通过两层并联尺度卷积模块和最大池化层进行下采样，生成64个特征映射，然后输出到第三层通过两层并联尺度卷积模块和最大池化层进行下采样，生成128个特征映射，最终输出到多尺度感知特征融合模块处理。多尺度感知特征融合模块通过不同空洞率的空洞卷积组成的级联空洞卷积层对最底层的特征信息进行多尺度的卷积操作，充分利用网络最底层的特征信息。解码阶段，解码器每一层与编码器的每一层相对应，卷积块与编码器中的卷积块相同，唯一区别是输入通道和输出通道是反向的。在第三层，多尺度感知特征融合模块的输出包含256个特征映射，与多尺度空洞卷积跳跃连接的128个特征映射连接，并通过两层并联尺度卷积模块和密集上采样卷积模块对特征进行上采样，生成128个特征映射，在第二层，128个特征映射与多尺度空洞卷积跳跃连接的64个特征映射连接，并通过两层并联尺度卷积模块和密集上采样卷积模块对特征进行上采样，生成64个特征映射，在最后的解码层，64个特征映射与多尺度空洞卷积跳跃连接的32个特征映射连接，并通过两层并联尺度卷积模块生成32个特征映射，再经过1×1卷积层和sigmoid激活函数生成最终的视网膜血管分割图像。
53、步骤s5中，由于非血管像素占比较大，导致血管和非血管像素不平衡，因此选择混合焦损失(hybrid focal loss，hfloss)作为模型的损失函数，它对dice和基于交叉熵的分量损失进行改进，结合了可调参数来处理输出不平衡，以及焦参数来处理输入不平衡；
54、混合焦损失将dice损失替换为focal tversky损失，将交叉熵损失替换为focal损失，混合焦损失的表达式如下：
55、hfloss＝λ×floss+(1-λ)×ftloss
56、floss(pt)＝α×(1-pt)γ×bceloss(p,y)
57、
58、式中：hfloss为混合焦损失，通过调节λ的值来确定两分量损失的相对权重；floss(pt)为focal损失，由α和γ参数化，分别控制易于分类的像素的类权重和降权程度，当γ＝0时，简化为二值交叉熵损失；ftloss为focal tversky损失，其中γ<1增加对较难样本的关注程度，当γ＝1时，focal tversky损失简化为tversky损失；混合焦损失在处理数据不均衡和增强模型对微细血管的捕捉能力方面表现突出，在保证训练稳定性的同时有效提高模型的分割精度。
59、步骤s6中，采用随机梯度下降(sgd)作为优化器对模型训练进行优化，初始学习率设置为0.001，动量因子设置为0.9，权重衰减系数设置为0.0001，使用余弦学习率衰减策略。drive数据集的batch size设置为4，chase_db1数据集的batch size设置为2，训练迭代次数均设置为150。
60、本发明的进步之处：
61、首先，本发明通过构建特征增强网络来对输入图像进行特征增强，将低质量的图像转换为高质量的图像，以便模型更好地进行训练和优化；
62、其次，本发明通过多尺度灰度变换、group whitening、lime(low-light imageenhancement)、结构化对比度增强和基于图像梯度的特征缩放处理方法对特征增强后的视网膜图像进行处理，使得处理后的图像对比度更好，血管与背景的区分更明显，血管特征更清晰，更适合用于特征提取；
63、然后，本发明在u-net网络的基础上结合密集上采样卷积模块、并联尺度卷积模块、多尺度感知特征融合模块、多尺度空洞卷积跳跃连接构建了基于多尺度感知特征融合的视网膜血管分割网络。并联尺度卷积模块和密集上采样卷积模块实现对视网膜图像中的细小血管和复杂结构进行特征增强，提升模型对细微血管特征的捕捉能力。多尺度感知特征融合模块将不同尺度的特征信息进行融合，提升了模型对不同尺寸血管的处理能力。多尺度空洞卷积跳跃连接通过多尺度卷积核适应血管的粗细变化，进一步提高了模型的鲁棒性和精度；
64、最后，本发明选择混合焦损失(hybrid focal loss，hfloss)作为模型的损失函数，以克服血管与背景像素数量不平衡的问题，提升模型在视网膜血管分割任务中的性能表现。
1.一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，所述步骤s1中特征增强网络的发生器构建过程如下：
3.根据权利要求1所述的一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，所述步骤s1中特征增强网络的发生器损失函数选择过程如下：
4.根据权利要求1所述的一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，所述步骤s1中特征增强网络的鉴别器设计及鉴别器损失函数选择过程如下：
5.根据权利要求1所述的一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，所述步骤s2处理过程如下：
6.根据权利要求1所述的一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，所述步骤s3中选用medaug库和fastai augmentation方法来扩增训练集；使用局部特征扰动扩增(local feature perturbation)方法在视网膜图像的局部区域进行轻微的扰动或噪声注入，使模型对局部特征的鲁棒性提升；再使用coloraugmentationlibraries方法进行多样性调整，丰富训练样本的特征。
7.根据权利要求1所述的一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，所述步骤s4中各模块的具体构建过程如下：
8.根据权利要求1所述的一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，所述步骤s5中，由于非血管像素占比较大，导致血管和非血管像素不平衡，因此选择混合焦损失(hybrid focal loss，hfloss)作为模型的损失函数，它对dice和基于交叉熵的分量损失进行改进，结合了可调参数来处理输出不平衡，以及焦参数来处理输入不平衡；
9.根据权利要求7所述的一种基于特征增强和多尺度感知特征融合的视网膜血管分割方法，其特征在于，各模块中shilu激活的表达式如下：
