本发明涉及偏振图像处理，具体为一种基于深度学习的彩色偏振图像去马赛克图像融合方法。
背景技术：
1、偏振是光的重要物理特性之一，地表或大气中的目标在反射、散射、透射以及辐射电磁波时会产生由自身特性所决定的特定偏振信息，且这些偏振信息能用于分析目标的形状、表面粗糙度、纹理走向和材料的理化特性等。偏振成像技术通过分析光波被物体反射前后偏振特性的改变，如偏振度、偏振角等，可获得物体的形状、材料和粗糙度等多维信息。另外，在有散射介质存在的弱光环境中，反射光的偏振信息保持能力远大于强度信息。基于此，偏振成像在目标探测和洪涝灾害监测、通信、医学成像等方面有广泛应用。
2、目标场景的偏振信息主要由偏振成像系统来获取，有两种流行的偏振成像系统：分时偏振成像系统和偏振成像系统。在分时偏振成像系统，相机镜头前的线性偏振片按时间顺序旋转，以获得像素的不同偏振态。然而，分时偏振计只适用于静态场景。在分焦面偏振计中，使用微型偏振片阵列一次性捕捉不同偏振方向的马赛克图像(cpfa)，可用于动态场景。但是捕捉到的马赛克图像每个像素只包含一个偏振方向的信息，但需要进行去马赛克处理才能生成不同偏振角的图像。
3、根据斯托克斯矢量表示法，可以从一系列不同偏振角的图像中得到强度图像i和线性偏振度(dolp)图像。具有强度信息的强度图像包含丰富的场景和纹理信息，但容易受到光照的影响。相比之下，偏振图像不受光照强度的影响，即使在光照条件较差或对比度较低的情况下，也能记录物体丰富的表面细节，如物体形状、表面粗糙度和弧度等，弥补了强度图像的缺陷，但是，偏振图像不包含物体颜色、场景光照等场景信息。由于物体的表面属性没有明显变化，因此偏振图像中会丢失表面纹理。这两种图像的互补性促使我们将它们融合在一起。因此，现有技术中需要一种能够将彩色偏振图像去马赛克和彩色偏振图像融合技术结合起来的方法，提高动态场景下偏振图像的捕获能力和图像信息量。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本发明提供了一种基于深度学习的彩色偏振图像去马赛克图像融合方法，解决了上述背景技术中所提出的问题。
3、(二)技术方案
4、本发明为了实现上述目的具体采用以下技术方案：
5、一种基于深度学习的彩色偏振图像去马赛克图像融合方法，包括以下步骤：
6、s1：构建彩色偏振图像去马赛克卷积神经网络模型，对像素值缺失的彩色偏振图像数据去马赛克处理，生成四个不同偏振角度的全色偏振图像，所述卷积神经网络模型由两个子网络彩色去马赛克网络和偏振去马赛克网络构成；
7、s2：由四个不同偏振角度的全色偏振图像解算出彩色强度图像i和彩色偏振度图像dolp；
8、s3：构建基于注意力机制的彩色偏振图像融合卷积神经网络模型，将生成的彩色i强度图像和彩色偏振度dolp图像融合，所述卷积神经网络模型依次包括编码器模块、融合模块及解码器模块；所述卷积神经网络模型采用损失函数评估模型的预测值与真实值的差异值，所述损失函数由多尺度加权结构相似性损失与感知损失加权构成；
9、s4：采用由分焦平面彩色偏振成像系统采集的偏振图像数据集对s1所述的卷积神经网络模型进行训练；
10、s5：采用经由s1所述的彩色偏振图像数据去马赛克卷积神经网络处理的去马赛克偏振图像数据对s3所述的卷积神经网络模型进行训练；
11、s6：将测试集图像数据输入训练好的卷积神经网络模型中，输出最终融合增强结果。
12、进一步地，所述s1中在彩色偏振图像去马赛克卷积神经网络模型中，首先将输入的cpfa原始数据按照四个不同偏振角度排列成四个子采样bayer镶嵌数据，子采样bayer镶嵌数据的高度和宽度均为输入原始数据的一半，随后将四个子采样bayer镶嵌数据送入彩色去马赛克网络；
13、以偏振度为90°的子采样为例：假设输入原始数据的尺寸为h×w，子采样数据的尺寸为具体地，假设输入的cpfa数据为icpfa，按照以下方式生成四个子采样bayer镶嵌数据：
14、red(红色)通道：在子采样图像中，只保留原始数据的红色通道像素；
15、rsub(i,j)＝icpfa(2i,2j)，其中i∈[0,1,…,hsub-1],j∈[0,1,…,wsub-1]
16、green1(绿色1)通道：在子采样图像中，保留原始数据的绿色通道像素，位置为偶数行奇数列；
17、g1sub(i,j)＝icpfa(2i,2j+1)，其中i∈[0,1,…,hsub-1],j∈[0,1,…,wsub-1]
18、green2(绿色2)通道：在子采样图像中，保留原始数据的绿色通道像素，位置为奇数行偶数列；
19、g2sub(i,j)＝icpfa(2i+1,2j)，其中i∈[0,1,…,hsub-1],j∈[0,1,…,wsub-1]
20、blue(蓝色)通道：在子采样图像中，只保留原始数据的蓝色通道像素；
21、bsub(i,j)＝icpfa(2i+1,2j+1)，其中i∈[0,1,…,hsub-1],j∈[0,1,…,wsub-1]
22、通过这种方式，可以将原始的cpfa数据按照bayer镶嵌的形式重新排列成四个不同偏振角度的子采样图像，每个偏振角度的子采样图像都包含：红色通道rsub(i,j)，绿色1通道g1sub(i,j)，绿色2通道g2sub(i,j)和蓝色通道bsub(i,j)；
23、在彩色偏振图像去马赛克卷积神经网络模型中，彩色去马赛克网络对这四个子采样bayer马赛克数据进行去马赛克处理，生成四个子采样的rgb图像，其中彩色去马赛克网络的权重是共享的。
24、进一步地，所述彩色去马赛克网络生成的子采样rgb图像，用与像素洗牌操作相同的方法生成rgb三个颜色通道马赛克偏振数据，随后将其送入偏振去马赛克网络，偏振去马赛克网络对这三个马赛克偏振数据进行去马赛克，生成全rgb偏振图像，形成输出的12通道数据，其中彩色去马赛克网络的权重是共享的。
25、进一步地，所述彩色去马赛克网络主要由通道注意力机制模块(se block)、双线性插值操作和细化网络三部分组成；所述偏振去马赛克网络主要由空间注意力机制模块(cbam)、双线性插值操作和细化网络三部分组成。
26、进一步地，所述彩色偏振图像去马赛克卷积神经网络模型中，损失函数由彩色去马赛克网络的损失函数lc和偏振去马赛克网络的损失函数lcp组合构成，损失函数l计算如下
27、
28、l＝lc+αlcp
29、其中，对于彩色去马赛克网络彩色去马赛克网络的损失函数lc，设uθ(θ∈θ)是对x的偏振方向为θ的像素进行子采样以形成单通道子采样拜耳cfa马赛克数据的过程，设vθ是从全彩色偏振图像z中提取偏振角θ的子采样rgb图像的过程；
30、其中，对于偏振去马赛克网络的损失函数lcp，设y(x；φ)＝{gφ(uθ(x))|θ∈θ}为彩色去马赛克网络的输出集合，设uc(c∈{r,g,b})为y(x；φ)通道的像素洗牌操作，设vc为从全彩色偏振图像z中提取c信道的过程；所述损失权重参数α＝4。
31、进一步地，所述s2中彩色强度图像和彩色偏振度图像的解算方法为：将所述12通道全rgb偏振图像按照偏振角度分解得到四个不同偏振方向的图像，偏振方向分别为0°、45°、90°和135°，然后根据stokes矢量解算出i图像和dolp图像，输入到彩色偏振图像融合网络，具体公式如下：
32、
33、其中s0、i均代表在不加偏装置的情况下原始的光强信息，即强度图像；s1、q代表光波的水平偏振分量与垂直偏振分量之差；s2、u代表光波在45°方向上偏振分量与135°方向上的偏振分量之差；s3、v代表光波的右旋圆偏振分量与左旋圆偏振分量之差；ir为光波的右旋圆偏振分量；il为光波的左旋圆偏振分量。
34、进一步地，所述s3中在基于注意力机制的彩色偏振图像融合卷积神经网络模型中，先将解算出的i图像和dolp图像由rgb通道转换到ycrcb通道，然后分别将ycrcb通道的i图像和dolp图像输入编码模块；
35、编码器模块分为两个分支，两个分支分别用于输入强度图像和偏振度图像，各分支均依次包括第一卷积层、密集块模块及注意力机制模块，每层数据输出均由relu函数处理，第一卷积层由两个16通道卷积层组成，强度图像和偏振度图像分别输入编码器网络的两个分支中，分别输出强度特征图和偏振度特征图；
36、强度图像编码器模块分支中的注意力机制模块为空间注意力机制模块，空间注意力机制模块结构为：输入强度特征图xi分别经过平均池化层和最大池化层生成特征描述符fs(x)和gs(x)，二者拼接后经过卷积层生成空间特征图α，最后空间特征图α与输入特征图x做元素乘法生成输出强度特征图yi；
37、偏振图像编码器模块分支中的注意力机制模块为通道注意力机制模块，通道注意力机制模块结构为：输入偏振特征图xdolp分别经过平均池化层和最大池化层生成空间环境描述符fc(x)和gc(x)，二者分别经过线性层和卷积层处理，其中线性层数据输出由relu函数处理，将处理后的数据做元素加法生成通道特征图β，最后通道特征图β与输入特征图x做元素乘法生成输出偏振特征图ydolp。
38、进一步地，所述强度特征图和偏振度特征图输入到融合模块，将强度特征图和偏振度特征图的物理拼接，得到融合特征图，融合模块有四个卷积层构成，每个卷积层输出的数据都经过relu函数处理；
39、将融合特征图输入到解码器模块，解码器模块依次包括四个卷积层，其中前三层卷积层数据输出由relu函数处理，输出ycrcb通道融合图像；
40、将解码器模块的输出图像与强度图像做物理拼接，然后由ycrcb通道转换到rgb通道生成最终的融合图像。
41、进一步地，所述基于注意力机制的彩色偏振图像融合卷积神经网络模型中，损失函数计算如下：
42、
43、loss＝lossms-ssim+λlossperceptual
44、其中，lossms-ssim是基于多尺度加权结构相似度的损失函数，是基于多尺度加权融合质量指数的损失函数，w∈{3，5，7，9，11}代表不同窗口，ssim(x，y；w)表示两幅图像在w窗口下的结构相似度，βw是权重系数；lossperceptual基于预训练的深度卷积神经网络的特征感知损失函数，其中，if是输入图像，itrue是目标图像，φl(if)和φl(itrue)分别表示它们在预训练的神经网络中的第l层的特征表示，l是特征层数，其中λ是平衡参数。
45、进一步地，所述s4中训练模型采用的彩色偏振图像数据集是两个公开可用的数据集：tokyo tech dataset和cpd net dataset组成。
46、(三)有益效果
47、与现有技术相比，本发明提供了一种基于深度学习的彩色偏振图像去马赛克图像融合方法，具备以下有益效果：
48、本发明可以有效解决现有彩色偏振图像cpfa数据的像素插值(即去马赛克)问题，提高彩色偏振图像清晰度，弥补动态环境下偏振成像的技术弊端，提出的基于注意力机制彩色偏振图像，分析了彩色强度图像和的彩色偏振度图像表达成像目标信息的差异性，针对性的引入注意力机制模块，使得到的融合图像相比传统融合图像具有更好的质量，为更好应用于目标检测、目标跟踪等打下良好基础；
49、通过在彩色去马赛克和偏振去马赛克两个字网络中，根据任务的不同，分别引入空间注意力机制模块(cbam)和通道注意力机制模块(se block)，形成了一个注意力学习过程，提升了彩色偏振图像去马赛克的效率及质量；
50、通过分析彩色强度图像和的彩色偏振度图像表达成像目标信息的差异性，针对性的设计并引入注意力机制模块，增强强度图像中物体的颜色和对比度信息，增强偏振度图像中物体的细节轮廓和表面纹理信息，使图像的细节比原始图像更加清晰，进一步提高融合图像的质量以及信息量。
1.一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述s1中在彩色偏振图像去马赛克卷积神经网络模型中，首先将输入的cpfa原始数据按照四个不同偏振角度排列成四个子采样bayer镶嵌数据，子采样bayer镶嵌数据的高度和宽度均为输入原始数据的一半，随后将四个子采样bayer镶嵌数据送入彩色去马赛克网络；
3.根据权利要求2所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述彩色去马赛克网络生成的子采样rgb图像，用与像素洗牌操作相同的方法生成rgb三个颜色通道马赛克偏振数据，随后将其送入偏振去马赛克网络，偏振去马赛克网络对这三个马赛克偏振数据进行去马赛克，生成全rgb偏振图像，形成输出的12通道数据，其中彩色去马赛克网络的权重是共享的。
4.根据权利要求3所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述彩色去马赛克网络主要由通道注意力机制模块(se block)、双线性插值操作和细化网络三部分组成；所述偏振去马赛克网络主要由空间注意力机制模块(cbam)、双线性插值操作和细化网络三部分组成。
5.根据权利要求4所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述彩色偏振图像去马赛克卷积神经网络模型中，损失函数由彩色去马赛克网络的损失函数lc和偏振去马赛克网络的损失函数lcp组合构成，损失函数l计算如下
6.根据权利要求5所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述s2中彩色强度图像和彩色偏振度图像的解算方法为：将所述12通道全rgb偏振图像按照偏振角度分解得到四个不同偏振方向的图像，偏振方向分别为0°、45°、90°和135°，然后根据stokes矢量解算出i图像和dolp图像，输入到彩色偏振图像融合网络，具体公式如下：
7.根据权利要求6所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述s3中在基于注意力机制的彩色偏振图像融合卷积神经网络模型中，先将解算出的i图像和dolp图像由rgb通道转换到ycrcb通道，然后分别将ycrcb通道的i图像和dolp图像输入编码模块；
8.根据权利要求7所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述强度特征图和偏振度特征图输入到融合模块，将强度特征图和偏振度特征图的物理拼接，得到融合特征图，融合模块有四个卷积层构成，每个卷积层输出的数据都经过relu函数处理；
9.根据权利要求8所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述基于注意力机制的彩色偏振图像融合卷积神经网络模型中，损失函数计算如下：
10.根据权利要求1所述的一种基于深度学习的彩色偏振图像去马赛克图像融合方法，其特征在于：所述s4中训练模型采用的彩色偏振图像数据集是两个公开可用的数据集：tokyo tech dataset和cpd net dataset组成。
