本发明属于图像处理，具体涉及一种联合相位估计和去失焦模糊数据集生成及网络形成方法。
背景技术：
1、四相位(qpd)图像传感器是四个像素共享一个微透镜的设计，能够测量拍摄对象上下左右四方的所有相位差异，实现更快速、更精准的自动对焦。除用于对焦外，也可以应用于图像深度，去模糊等应用。相比于单目的输入，由于能够利用额外的相位信息从而获得更好的效果。联合相位估计和去模糊能够获得更好的效果，但是由于相关数据集的缺乏，导致相关的研究很少。
2、已有的改进前方法一：基于矩形核的dpd(两相位检测)数据仿真方法以及联合视差以及去失焦模糊网络设计。该方法包括：s1、构建真实数据集：采集真实场景下失焦-准焦图像对以及基于失焦图像序列的深度估计方法来获取对应的深度真实标签；s2、构建仿真数据集：对dpd图像成像原理进行建模，提出一个基于矩形核的扩散模型来仿真获得dpd图像，其输入为基于开源的rgbd图像(nyu数据集)，输出为dpd失焦图像；s3首先通过depthnet获得初始的深度图，将初始的深度图与dpd图像对输入到deblur网络获得准焦图像与逆深度图。方法一局限性：(1)基于矩形核的dpd数据仿真方法容易出现矩形光斑；(2)通过depthnet获得初始的深度图，利用初始的深度图优化去模糊效果，但在实际测试中深度估计效果不佳，会导致去模糊效果不明显。
3、已有的改进前方法二：基于双目结构光的dpd深度与去模糊数据集。该方法通过投影仪投影格雷码图像，解码格雷码图像获得被测物体的绝对深度。图1为改进前方法二中输入模型规则条纹和投影仪模型出现摩尔纹对比示意图。图2为改进前方法二中被测物体附加条纹的综合图像和视差图像阴影部分对比示意图。如图1所示，期望投影仪投射到被测物体上的理想输入模型(见图1左)是规则密集分布的格雷码条纹图案，而实际低端投影仪投射出的图案即投影仪模型(见图1右)出现摩尔纹。如图2所示，被测物体投射格雷码条纹后，被测物体附加条纹的综合图像(见图1左)红圈内为阴影部分；采用方法二得到的视差图像(见图1右)红圈部分显示阴影部分无法获得深度信息。方法二局限性：(1)格雷码在低端投影仪、手机设备相机容易出现摩尔纹现象，导致匹配失败。(2)投影条纹阴影区域没有相位信息导致无法提供正确的深度信息。
4、已有的改进前方法三：基于迭代的联合视差以及去失焦模糊网络设计。该方法包括：s1、通过特征提取模块，对输入dpd图像对特征提取获得f{l,r}；s2、通过特征提取模块对输入dpd图像对特征提取，对特征进行匹配获得视差图,根据视差图来设计不同尺度的图像模糊核；s3、通过特征重建模块来恢复清晰的准焦图像。方法三局限性：(1)深度网络为无监督算法，深度估计效果不佳；(2)由于需要深度结果来估计模糊核，导致去模糊效果不佳，会出现伪纹理。
技术实现思路
1、本发明的目的在于提供一种联合相位估计和去失焦模糊数据集生成方法，克服了方法二存在的局限；本发明利用投影全亮图像后再进行匹配，投影图像阴影部分深度估计正确。本发明改进结构光投影条纹，将格雷码与相移码结合，获得绝对相位；避免出现摩尔纹现象，得到准确的边缘视差。
2、本发明的另一目的在于提供一种基于dpd的联合相位估计和去失焦模糊网络形成方法，本发明设置独立的视差估计模块，根据视差估计的结果，增加了图像对齐模块，提升了去模糊性能，且视差估计更准确。
3、本发明的又一目的在于提供一种基于qpd的联合相位估计和去失焦模糊网络形成方法，充分利用视差信息以及图像信息，进行视差融合和特征融合，获得更清晰的去模糊效果和更准确的深度估计效果。
4、本发明提供一种联合相位估计和去失焦模糊数据集生成方法，包括：
5、s1、提供双目采集系统，所述双目采集系统包括投影仪和左右分布的两个相机，对两个所述相机进行标定，获得两个所述相机的畸变参数并进行畸变校正；通过标定图像获得两个所述相机外参，并对所述双目采集系统进行极线校正；
6、s2、将被测物体放到视场中间位置，利用所述投影仪向所述被测物体投射全亮图像，由两个所述相机分别拍摄所述被测物体，获得失焦的左图像和右图像，对所述左图像和所述右图像进行匹配获得第一视差图像；
7、s3、利用所述投影仪向所述被测物体投射相移码图案和格雷码图案，在所述被测物体上形成条纹图案，由两个所述相机分别拍摄所述被测物体附加条纹的综合图案，获得失焦的左综合图像和右综合图像，通过对所述左综合图像和所述右综合图像解码获得绝对相位，利用所述绝对相位进行匹配获得第二视差图像；
8、s4、将所述第一视差图像与所述第二视差图像进行融合获得融合视差图像；
9、s5、调整两个所述相机中的任意一个相机的马达位置，以拍摄获得同一场景的准焦图像，将所述准焦图像与失焦图像进行对齐。
10、进一步的，对两个所述相机进行标定具体包括：
11、利用所述投影仪向标定板投射所述全亮图像，由两个所述相机分别拍摄所述标定板在视场范围内多张不同位置以及不同姿态的所述标定图像。
12、进一步的，所述全亮图像是指投影图像全部为白色，所述全亮图像的整个区域的像素值均为255。
13、进一步的，步骤s2具体包括：将所述左图像和所述右图像作为raft-stereo的第一输入，匹配获得所述第一视差图像；其中，所述左图像和所述右图像均为raw图像。
14、进一步的，步骤s3具体包括：
15、所述投影仪先投射n幅正弦所述相移码图案到被测物体表面，后投射m副所述格雷码图案到被测物体表面；由两个所述相机拍摄被测物体，获得失焦的所述左综合图像和所述右综合图像，计算每个位置的相位差获得包裹相位；利用n幅正弦所述相移码图案每个像素的均值作为阈值,将m副所述格雷码图像进行阈值分割获得阈值图像,通过所述阈值图像以及所述包裹相位获得所述被测物体的绝对相位信息；
16、由所述左综合图像和所述右综合图像计算获得绝对相位图，所述绝对相位图作为raft-stereo的第二输入，获得所述第二视差图像。
17、本发明还提供一种基于dpd的联合相位估计和去失焦模糊网络形成方法，包括：
18、s1、提供dpd模糊图像，将所述dpd模糊图像拆分获得左图像和右图像；
19、s2、将所述左图像和所述右图像通过独立的视差估计模块提取特征并进行匹配,最后进行视差估计获得视差图像；
20、s3、将所述左图像和所述右图像通过特征提取模块分别提取特征获得左图像特征和右图像特征；
21、s4、图像对齐模块利用所述视差图像对所述左图像特征和所述右图像特征进行对齐，将对齐后的特征叠加获得融合特征；
22、s5、将所述融合特征进行上采样获得去模糊输出图像。
23、进一步的，还包括：
24、所述视差估计模块包括：特征提取器、相关金字塔和基于gru的更新运算符。
25、进一步的，还包括：
26、测试阶段，输入所述dpd模糊图像到dpd联合相位估计和去失焦模糊网络模型中，输出所述视差图像和所述去模糊输出图像。
27、本发明还提供一种基于qpd的联合相位估计和去失焦模糊网络形成方法，包括：
28、s1、提供qpd模糊图像，将所述dpd模糊图像拆分获得左图像、右图像，以及上图像、下图像；
29、将所述左图像和所述右图像输入第一联合去模糊与视差估计模块获得第一视差图像和第一去模糊特征；
30、将所述上图像和所述下图像输入第二联合去模糊与视差估计模块获得第二视差图像以及第二去模糊特征；
31、s2、将所述第一视差图像、所述第二视差图像输入视差融合模块基于图像内容进行融合获得最终的融合视差图像；
32、s3、将所述第一去模糊特征和所述第二去模糊特征输入特征融合模块进行特征融合后再上采样获得最终的去模糊输出图像。
33、进一步的，还包括：
34、测试阶段，输入所述qpd模糊图像到qpd联合相位估计和去失焦模糊网络模型中，输出所述视差图像和所述去模糊输出图像。
35、与现有技术相比，本发明具有如下有益效果：
36、本发明提供一种联合相位估计和去失焦模糊数据集生成方法，克服了方法二存在的局限；本发明利用投影全亮图像后再进行匹配，会规避掉阴影的缺陷，使投影图像阴影部分匹配正确，从而使投影图像阴影部分深度估计正确。本发明改进结构光投影条纹，将格雷码与相移码结合，获得绝对相位；避免出现摩尔纹现象，得到准确的边缘视差。
37、本发明还提供一种基于dpd的联合相位估计和去失焦模糊网络形成方法，本发明设置独立的视差估计模块，可以获得准确的视差结果；根据视差估计的结果即视差图像，增加了图像对齐模块，提升了去模糊性能。相比于方法一和方法三，本发明视差估计准确且去模糊效果佳。
38、本发明还提供一种基于qpd的联合相位估计和去失焦模糊网络形成方法，针对qpd图像传感器的成像原理，充分利用视差信息以及图像信息，由左图像和右图像获得第一视差图像和第一去模糊特征；将上图像和下图像获得第二视差图像和第二去模糊特征；将第一视差图像、第二视差图像基于图像内容进行融合获得最终的融合视差图像；将第一去模糊特征和所述第二去模糊特征进行特征融合后再上采样获得最终的去模糊输出图像。充分利用qpd图像传感器四相位的信息，进行视差融合和特征融合，获得更清晰的去模糊效果和更准确的深度估计效果。
1.一种联合相位估计和去失焦模糊数据集生成方法，其特征在于，包括：
2.如权利要求1所述的联合相位估计和去失焦模糊数据集生成方法，其特征在于，步骤s1中，对两个所述相机进行标定具体包括：
3.如权利要求1所述的联合相位估计和去失焦模糊数据集生成方法，其特征在于，
4.如权利要求1所述的联合相位估计和去失焦模糊数据集生成方法，其特征在于，
5.如权利要求4所述的联合相位估计和去失焦模糊数据集生成方法，其特征在于，步骤s3具体包括：
6.一种基于dpd的联合相位估计和去失焦模糊网络形成方法，其特征在于，包括：
7.如权利要求6所述的基于dpd的联合相位估计和去失焦模糊网络形成方法，其特征在于，还包括：
8.如权利要求6所述的基于dpd的联合相位估计和去失焦模糊网络形成方法，其特征在于，还包括：
9.一种基于qpd的联合相位估计和去失焦模糊网络形成方法，其特征在于，包括：
10.如权利要求9所述的基于qpd的联合相位估计和去失焦模糊网络形成方法，其特征在于，还包括：
