本发明属于深度学习及其与生物交叉应用领域，具体涉及一种渐进融合空间和通道特征的信息智能补偿和压缩方法。
背景技术：
1、植物的气孔主要位于叶片表面，是植物与外界环境之间进行气体交换的通道，气孔分布状况和数量的多少与植物种类有关，同时也受环境等因素的影响。气孔调控植物与环境间的气体交换，是遗传改良水分利用效率的重要靶点。双子叶植物表皮气孔由一对保卫细胞和中间的孔径组成的结构，在碳同化、呼吸、蒸腾作用等气体代谢中，成为空气和水蒸气的通路，其通过量是由保卫细胞的开闭作用来调节，在生理上具有重要的意义。因此气孔的定位、密度和开度等因素对植物自身的生长发育、抗逆性等方面起着重要的作用。
2、而花生是我国重要的经济作物和油料作物，据统计，常年干旱造成我国70％的花生受到不同程度干旱胁迫的影响，花生减产量占全国总产量的20％以上。因此如何能够快速准确的在花生叶表皮细胞图像或视频下获取气孔表型数据是研究并分析花生生长特征的前提和关键。
3、在过去的几十年中，主要依靠人工手动或半自动的方法来统计气孔的数量及表型性状，耗费了大量的人力成本和时间成本，准确度也不高。开发气孔性状智能识别技术显得尤为重要。近年来该领域也陆续有相关报道。其中，sanyal等人(analysis of sem imagesof stomata of different tomato cultivars based on morphological features)提出了通过利用显微镜图像处理技术，采用分水岭技术提取特征，再基于气孔结构对不同的番茄类型进行分类。后随着人工智能的发展，越来越多的研究者将卷积神经网络用来处理气孔图像，以快速的获取气孔的特征信息。如王静涛(基于faster_r-cnn的活体植株叶片气孔检测方法研究)用faster r-cnn模型检测杨树叶片的气孔；宋文龙等人利用mask r-cnn深度语义分割模型对植物的气孔进行检测，利用椭圆来拟合出气孔的大小以获得气孔的表型信息等。然而，现有的这些方法都不能获得或一次性直接获得气孔的表型信息，还需要运用分割模型等进一步的操作，同时这些方法获取的表型数据往往不够精准。
技术实现思路
1、为了解决现有技术的不足，本发明旨在提供一种渐进融合空间和通道特征的信息智能补偿和压缩方法，该方法可以通过高通量叶片表皮图像实现叶片表皮保卫细胞大小测度，气孔定位、密度和开度等表型信息全自动获取，气孔检测更加准确，从而极大地方便了研究者获取气孔表型性状数据，
2、为了实现上述目的，本发明采用的技术方案为：
3、渐进融合空间和通道特征的信息智能补偿和压缩方法，该方法是基于以下步骤实现的：
4、s1.对使用便携式显微镜采集的高通量叶表皮气孔图像数据集按一定的比例随机分为训练集和验证集，并用标注工具对训练集和验证集中的每个气孔进行双目标的旋转框标注；
5、s2.加载数据及标签：将卷积神经网络作为骨干网络，提取气孔图像特征；并构建渐进的空间和通道特征补偿和压缩的颈部网络将骨干网络提取出的多尺度特征进行融合，缓解补偿与气孔相关特征的损失并进一步压缩冗余特征；将融合后的三个特征图引入到分支解耦的检测头中进行预测，获得表型数据；
6、s3.训练模型：每一轮对训练集的全部图像进行训练，计算每次迭代时模型损失函数值后进行梯度下降更新网络参数；同时每轮训练结束后，在验证集上计算模型损失函数值，保存目前为止使验证集损失函数值最小时对应的网络模型；如此重复训练，直至完成设置的轮数；
7、s4.载入训练后的模型，便可对高通量的叶表皮细胞图像进行气孔检测，计算气孔密度；预测开气孔个数及其长度、开度信息；
8、s5.阈值调整：若对气孔表型性状的检测与识别结果满意，则停止调整阈值，计算并得到气孔的尺寸、表型信息；若不满意，则根据模型识别情况，调整气孔目标置信度阈值，以及非极大值抑制的交并比阈值，并返回步骤s4，直至达到期望结果。
9、进一步的，步骤s1具体包括
10、s1-1.通过便携式显微镜获取高通量叶片的叶表皮细胞图像，构建数据集；
11、s1-2.将叶表皮细胞图像数据按照指定比例分为训练集、验证集；
12、s1-3.利用标注工具x-anylabeling，对训练集和验证集的图像进行旋转框标注，每个花生气孔的标注信息包括：气孔形态学的中心点坐标、宽、高和旋转角度，类别为气孔；气孔开度框的中心点坐标、宽、高和旋转角度，类别为开度；
13、s1-4.生成并保存为对应xml文件，以此获得每个气孔的位置及边界框坐标信息；再将保存的xml文件转换成dota格式的txt文件，用于后续的训练；
14、s1-5.考虑到气孔目标小、分布密集，使用工具包dota_devkit将训练集中的图片进行分割，将每张图片分割成多个分辨率为640*640的图像，并分割对应的txt文件，使得分割后的图像与txt标签文件实现一一对应。
15、进一步的，步骤s2具体包括：
16、s2-1.读取训练集全部高通量叶表皮细胞图像及每个图像的标注信息；
17、s2-2.构建resnet101卷积神经网络作为骨干网络提取气孔图像特征；
18、s2-3.选取骨干网络最后三层得到的特征图，将其输入构建渐进的空间和通道特征补偿和压缩细化的颈部网络将骨干网络提取出的多尺度特征进行融合，缓解补偿与气孔相关特征的损失并进一步压缩冗余特征；在该阶段的第一步，即先让低层次的特征和中等层次的特征融合细化，后加入高层次的语义特征参与全局的特征交互；以避免因跨层间的语义间隔过大而造成的特征冗余。
19、s2-4.将融合后的三个特征图引入到检测头中进行预测；检测头采用预测分支解耦结构，将head解耦形成两个预测分支，分别为目标框的类别及分数预测分支以及目标框的坐标信息的预测分支；每个边界框都预测一组类别，并获取最大的分数的类别作为该边界框的类别，同时该分数也为该框的置信度；最后将两个分支解耦头的输出连接起来，作为模型的总输出。
20、进一步的，步骤s3具体包括：
21、s3-1.设置全部训练集的训练所需的迭代轮数为s，一次读入的图像数量为q张，其中s≥1，q≥1；
22、s3-2.训练模型：每一轮对训练集的全部图像进行训练，一次计算的图像数量为q张；采用任务对齐的标签分配方法确定检测框中的正负样本框，进而计算每张气孔图片的损失函数值ltotal，并用动量随机梯度下降更新网络参数；
23、s3-3.每轮训练结束后，在验证集上计算模型损失函数平均值averageltotal：
24、
25、保存目前为止使验证集损失函数平均值最小时对应的网络模型；重复步骤s3-2，直至完成设置的轮数或损失函数无明显下降。
26、进一步的，步骤s3-3具体包括：
27、s3-3-1.选取骨干网络倒数第3层即低层次特征xlow，倒数第2层即高层次特征xhigh，倒数第1层即顶层特征xtop；得到的特征图输入渐进的空间和通道特征补偿和压缩的颈部网络中；具体包括：
28、低层次的特征图下采样并和高层次的特征图输入补偿压缩单元得到细化特征图高层次的特征上采样并和低层次的特征输入补偿压缩单元得到细化特征图顶层特征和上采样并和输入补偿压缩单元得到细化特征y1；顶层特征上采样，特征下采样，并和输入补偿压缩单元得到细化特征y2；特征和下采样并和顶层特征输入补偿压缩单元得到细化特征y3；
29、s3-3-2.补偿压缩单元具体包括信息补偿单元和冗余压缩单元；
30、s3-3-3.信息补偿单元包括：
31、a1.调整：在进行特征交互之前，需要根据未采样特征提供的空间位置信息调整采样的特征图其中i≠k′；通过学习一个偏移矩阵，每个值都解释为中的点与中对应点之间在二维空间中计算的偏移值；调整后的特征可表示为：
32、
33、其中，是和的并集，fδ(·)和fadjust(·)分别代表从空间差异中学习偏移值的函数和根据计算出的偏移值调整采样特征的函数，fadjust(·)使用可变形卷积实现；
34、b1.融合：用yn→k′表示从第n层到第k′层经过对齐和调整的特征，k′层融合后的特征zk′为：
35、
36、其中，wn表示第n层特征图的二维空间权重矩阵；对于wn中每个元素使用sigmoid函数强制
37、c1.重建：对于融合后的特征z(zk′)，需要在空间维度上分离出信息含量大的特征通道，并重建信息含量小的特征通道；具体通过下式来重建特征：
38、
39、其中，gn表示组正则化，wchannel是通过组正则化中的缩放因子scaling factors得到的每个通道的权重，是矩阵点积，是矩阵元素相加，flip表示把特征图的通道首尾翻转；z表示b1步骤后融合的特征，表示从z中分离出的富含信息的特征，w1为信息权重，表示从z分离出的信息含量少的特征，w2为非信息权重。zw表示重建后的特征。
40、s3-3-4.冗余压缩单元包括：
41、a2.分裂：得到空间细化特征后，将zw以通道比例α分为两部分：zαc和z(1-α)c，zαc表示通道数为αc的那一部分，z(1-α)c表示通道数为(1-α)c的那一部分；c为通道总数；每一部分输入1×1卷积进行通道压缩；
42、b2.再提取：特征zαc经过下式运算得到特征z1，z1表示特征zαc经过再提取过程的特征
43、
44、其中，和分别是组卷积和点卷积对应的矩阵，g为组卷积的缩写，p1为对应的点卷积缩写；g为组卷积中分组个数，r为通道压缩比例，k为核尺寸，c为通道数,zαc∈h和w为特征图的长宽；
45、特征z(1-α)c经过下式运算得到特征z2，z2表示特征z(1-α)c经过再提取过程的特征：
46、
47、其中是另一个点卷积对应的矩阵，p2为对应的点卷积缩写；∪表示级联,
48、c2.再融合：最后将采用sknet的方法将特征z1和z2通过以下运算融合得到冗余压缩单元的输出zfinal：
49、
50、zfinal＝β1z1+β2z2；
51、其中，pooling(*)表示全局平均池化，sm表示当m分别取值1、2时得到s1、s2，s1为z1对应的特征统计量；s2为z2对应的特征统计量；β1为z1对应的权重，β2为z2对应的权重；和为中间参量；m取值为1和2时，zm分别表示为z1和z2。
52、进一步的，步骤s3-2中损失函数ltotal计算具体包括：
53、
54、式中，ltotal表示损失函数值，npositive表示训练集中模型预测的气孔图像的正样本框个数，npred表示训练集中模型预测的气孔图像的所有样本框个数，i表示样本框的序号，wobb表示1-diou的损失权重，wdfl表示dfl的损失权重，wvfl表示的损失权重，diou_i表示第i个正样本框对应的距离交并比，dfl_i表示第i个正样本框对应的分布聚焦损失，lvfl_i表示第i个预测框对应类别的变量聚焦损失。
55、本发明具有的有益效果为：
56、1.本发明采用resnet101作为骨干网络提取气孔图像中气孔纹理及语义特征，并将经过补偿和压缩后的三个特征图引入到分支解耦的检测头中进行预测，获得气孔表型数据。极大地方便了研究者获取作物气孔表型性状数据，利用该方法研究人员可以通过检测高通量叶片表皮图像实现气孔定位、密度和开度等表型信息全自动获取。
57、2.本发明通过渐进的空间和通道特征补偿和压缩的颈部网络将骨干网络提取出的多尺度特征进行融合，补偿与气孔相关特征的损失并进一步压缩冗余特征。该设计可以实现更加准确的气孔检测，获得更准确的表型数据。
58、3.本发明属于轻量模型，可以实现对植物气孔视频以及外接设备时的实时检测和识别，因此可以研究叶片在整个生长阶段的气孔性状，可以探索作物气孔对环境变化的反应机制，对气孔性状的研究具有重要意义，对智慧农业的发展起到积极的推动作用。
1.渐进融合空间和通道特征的信息智能补偿和压缩方法，其特征在于：该方法是基于以下步骤实现的：
2.根据权利要求1所述的渐进融合空间和通道特征的信息智能补偿和压缩方法，其特征在于：步骤s1具体包括：
3.根据权利要求1所述的渐进融合空间和通道特征的信息智能补偿和压缩方法，其特征在于：步骤s2具体包括：
4.根据权利要求1所述的渐进融合空间和通道特征的信息智能补偿和压缩方法，其特征在于：步骤s3具体包括：
5.根据权利要求4所述的渐进融合空间和通道特征的信息智能补偿和压缩方法，其特征在于：步骤s3-3具体包括：
6.根据权利要求5所述的渐进融合空间和通道特征的信息智能补偿和压缩方法，其特征在于：步骤s3-2中损失函数ltotal计算具体包括：
