本发明属于图像处理，具体涉及一种视差数据集生成方法及视差估计网络形成方法。
背景技术：
1、四相位(qpd)图像传感器由于其对焦准确、高动态范围成像等优点而广泛被应用于手机。除能够用于对焦外，由于qpd图像传感器独特的物理结构，使用单个qpd相机就可以估计视差，然而目前市面上缺乏相关的数据集导致相关的研究非常少，另外由于qpd图像传感器窄基线以及亮度不均衡的特点，导致了算法设计的困难。
2、已有的改进前方法一：基于psf的rgbd数据生成方法，该方法通过预设的相机参数以及输入的深度结果获得视差；通过视差以及标定获取的psf生成dual-pd(两相位检测)图像；标定将仿真数据与真实数据的视差分布一致。改进前方法一局限性：生成仿真图像存在边界模糊的效果；与真实数据存在域泛化性问题；由于仿真图像的输入为电脑合成图像，因此没有噪声，且无亮度不均衡的问题。
3、已有的改进前方法二：基于矩形扩散的rgbd数据生成方法，该方法根据预设的相机参数以及输入的深度结果获得视差；视差获得每个像素的矩形扩散范围，将每个像素点均匀的分布在矩形扩散范围内；通过积分图加速矩形扩散计算。改进前方法二局限性：真实图像传感器的psf不是均匀分布，与实际图像传感器特性有差异，导致仿真图像亮点会出现矩形光斑。没有对真实图像传感器噪声分布、亮度不均匀性进行建模。
技术实现思路
1、本发明的目的在于提供一种视差数据集生成方法及视差估计网络形成方法。本发明提供的视差数据集生成方法，添加了噪声分布，使仿真散焦rgb图像更加接近真实，仿真方法生成的仿真散焦rgb获取的边界信息更为准确。本发明提供的视差估计网络形成方法，qpd视差图在视差的准确性和背景噪声有明显的优势。
2、本发明提供一种视差数据集生成方法，包括：
3、s1、获取相对应的聚焦rgb图像和深度图；根据成像原理和预设的相机参数，计算所述深度图中每个像素对应的模糊核的扩散半径，形成对应的视差图；
4、s2、通过标定或者直接调用获得点扩散函数模型，所述点扩散函数模型包括两相位检测点扩散函数模型和四相位检测点扩散函数模型；
5、s3、将所述聚焦rgb图像根据所述深度图进行分层；采用所述点扩散函数模型卷积每个层并混合后得到与所述聚焦rgb图像对应的仿真散焦rgb图像；
6、s4、将所述仿真散焦rgb图像添加两相位检测或者四相位检测噪声分布，添加噪声分布后的仿真散焦rgb图像作为视差数据集。
7、进一步的，步骤s2、标定所述两相位检测点扩散函数模型的方法，具体包括：
8、s211、采集两相位检测聚焦raw图：使用dual-pd相机,对准标定图形的中心，调整相机对焦马达位置进行对焦，采集所述两相位检测聚焦raw图；
9、s212、采集两相位检测散焦raw图：调整所述dual-pd相机的对焦马达位置，使图像模糊，采集所述两相位检测散焦raw图；
10、s213、数据对齐：利用增强相关系数图像对齐方法，以所述两相位检测散焦raw图为基准，将所述两相位检测聚焦raw图与所述两相位检测散焦raw图进行对齐计算，获得对齐后的聚焦图像；并计算所述对齐后的聚焦图像对应的两相位对齐后绿通道聚焦图像。
11、s214、点扩散函数估计：根据所述两相位检测散焦raw图，分别计算获得两相位散焦的左图像和右图像两个方向图像各自的两相位绿通道散焦图像；分别计算所述两个方向图像各自的两相位绿通道散焦图像相对所述两相位对齐后绿通道聚焦图像的模糊核，获得左、右两个点扩散函数模型。
12、进一步的，根据所述聚焦rgb图像每层对应的所述扩散半径和所述左点扩散函数模型，将每一层对应的像素进行扩散计算；将扩散计算后的图层按远近顺序进行混合，获得仿真散焦左图像；
13、以此类推，所述聚焦rgb图像通过所述右点扩散函数模型计算获得仿真散焦右图像；
14、所述仿真散焦左图像和所述仿真散焦右图像构成所述仿真散焦rgb图像。
15、进一步的，步骤s2、标定所述四相位检测点扩散函数模型的方法，具体包括：
16、s221、采集四相位检测聚焦raw图：使用qpd相机,对准标定图形的中心，调整相机对焦马达位置进行对焦，采集所述四相位检测聚焦raw图；
17、s222、采集四相位检测散焦raw图：调整所述qpd相机的对焦马达位置，使图像模糊，采集所述四相位检测散焦raw图；
18、s223、数据对齐：利用增强相关系数图像对齐方法，以所述四相位检测散焦raw图为基准，将所述四相位检测聚焦raw图与所述四相位检测散焦raw图进行对齐计算，获得对齐后的聚焦图像；并计算所述对齐后的聚焦图像对应的对齐后绿通道聚焦图像；
19、s224、点扩散函数估计：根据所述四相位检测散焦raw图，分别计算获得四相位散焦的上图像、下图像、左图像和右图像四个方向图像各自的绿通道散焦图像；分别计算四相位散焦的四个方向图像各自的绿通道散焦图像相对所述对齐后绿通道聚焦图像的模糊核，获得上、下、左、右四个点扩散函数模型。
20、进一步的，根据所述聚焦rgb图像每层对应的所述扩散半径和所述上点扩散函数模型，将每一层对应的像素进行扩散计算；将扩散计算后的图层按远近顺序进行混合，获得仿真散焦上图像；
21、以此类推，所述聚焦rgb图像通过所述下点扩散函数模型计算获得仿真散焦下图像；所述聚焦rgb图像通过所述左点扩散函数模型计算获得仿真散焦左图像；所述聚焦rgb图像通过所述右点扩散函数模型计算获得仿真散焦右图像；
22、所述仿真散焦左图像、所述仿真散焦右图像、所述仿真散焦上图像和所述仿真散焦下图像构成所述仿真散焦rgb图像。
23、进一步的，步骤s2中，标定所述点扩散函数模型的方法，使用的标定图形包含圆盘和方格组成的图形。
24、进一步的，步骤s3中，采用所述点扩散函数模型卷积每个层并混合后得到所述仿真散焦rgb图像，采用如下公式：
25、
26、其中，bs为经过扩散计算后的像素值，i为像素强度值，k为psf核函数，(x0，y0)为像素坐标；将当前需要计算的像素根据扩散函数的范围和扩散形态进行分散计算，最后的所述仿真散焦rgb图像为所有像素分散后的累加。
27、进一步的，所述视差数据集生成方法还包括：对所述仿真散焦rgb图像进行补偿计算，补偿方法具体包括：
28、提供与所述聚焦rgb图像对应的同一颜色强度的灰色图；
29、根据所述扩散半径和所述点扩散函数模型，对所述灰色图进行扩散计算，得到灰色模糊图；
30、将所述灰色模糊图补偿到所述灰色图，得到补偿权重；所述补偿权重为所述灰色图与所述灰色模糊图的颜色强度比值；
31、将所述仿真散焦rgb图乘以所述补偿权重，得到补偿后仿真散焦rgb图像；以及
32、将所述补偿后仿真散焦rgb图像添加所述两相位检测或者四相位检测噪声分布，添加噪声分布后的仿真散焦rgb图像作为视差数据集。
33、本发明还提供一种视差数据集生成方法，包括：
34、采集四相位检测散焦raw图：调整qpd相机的对焦马达位置，使图像模糊，采集所述四相位检测散焦raw图；
35、根据所述四相位检测散焦raw图，分别计算获得四相位散焦的绿通道散焦左图像、绿通道散焦右图像、绿通道散焦上图像和绿通道散焦下图像；
36、所述四相位检测散焦raw图中，相邻的颜色相同的四个像素为一组；按拜耳格式排列的四个所述组构成一个单元；所述单元中包括对角分布的第一绿组gb和第二绿组gr；
37、取每个所述单元中的所述第一绿组gb的左上、左下像素，所述第二绿组gr的左上、左下像素共四个像素的平均值作为所述单元四合一之后的绿左像素值；每个所述单元赋值各自的所述绿左像素值后构成所述绿通道散焦左图像；
38、取每个所述单元中的所述第一绿组gb的右上、右下像素，所述第二绿组gr的右上、右下像素共四个像素的平均值作为所述单元四合一之后的绿右像素值；每个所述单元赋值各自的所述绿右像素值后构成所述绿通道散焦右图像；
39、取每个所述单元中的所述第一绿组gb的左上、右上像素，所述第二绿组gr的左上、右上像素共四个像素的平均值作为所述单元四合一之后的绿上像素值；每个所述单元赋值各自的所述绿上像素值后构成所述绿通道散焦上图像；
40、取每个所述单元中的所述第一绿组gb的左下、右下像素，所述第二绿组gr的左下、右下像素共四个像素的平均值作为所述单元四合一之后的绿下像素值；每个所述单元赋值各自的所述绿下像素值后构成所述绿通道散焦下图像；
41、将绿通道散焦左图像和绿通道散焦右图像进行视差相位检测，以及
42、将绿通道散焦上图像和绿通道散焦下图像进行视差相位检测，最终获得视差图。
43、进一步的，通过棋盘格图像利用视差标定方法来获得真实场景的视差标签，具体流程如下：
44、s1、使用具有可变镜头位置的单个qpd相机拍摄棋盘格的图像.棋盘场景由于其丰富的纹理信息，可以准确的计算视差图，计算获得其对应的视差图；
45、s2、保持相同的镜头位置，通过贴纸替换棋盘格；将所述贴纸的图像与棋盘格图像对齐，其视差为步骤s1获得的视差图。
46、进一步的，还包括：
47、测试阶段，输入四相位检测散焦raw图，根据所述四相位检测散焦raw图，分别计算获得四相位散焦的绿通道散焦左图像、绿通道散焦右图像、绿通道散焦上图像和绿通道散焦下图像；
48、将所述四相位散焦的所述绿通道散焦左图像、所述绿通道散焦右图像、所述绿通道散焦上图像和所述绿通道散焦下图像输入到所述四相位视差模型中，得到视差图。
49、本发明还提供一种视差估计网络形成方法，包括：
50、s01、建立qpd视差数据集，所述qpd视差数据集包括：上图像、下图像、左图像和右图像；
51、s02、使用光照不变特征提取模块提取所述上图像和所述下图像的特征，并将所述上图像和所述下图像映射到稠密的特征映射；采用递归全对场变换算法计算所述上图像和所述下图像中所有像素对之间的视觉相似性来构建相关体积，生成相关特征；所述相关特征通过若干个卷积层传递并预测视差更新，经亚像素视差估计模块生成上下相位视差图；
52、使用所述光照不变特征提取模块提取所述左图像和所述右图像的特征，采用递归全对场变换算法计算所述左图像和所述右图像中所有像素对之间的视觉相似性来构建相关体积，生成相关特征；所述相关特征通过若干个卷积层传递并预测视差更新，经所述亚像素视差估计模块生成左右相位视差图；
53、s03、使用基于置信度的视差融合模块将所述上下相位视差图与所述左右相位视差图融合，得到最终的所述视差图像。
54、与现有技术相比，本发明具有如下有益效果：
55、本发明提供一种视差数据集生成方法及视差估计网络形成方法，视差数据集生成方法，包括：s1、获取相对应的聚焦rgb图像和深度图；根据成像原理和预设的相机参数，计算深度图中每个像素对应的模糊核的扩散半径，形成对应的视差图；s2、通过标定或者直接调用获得点扩散函数模型，点扩散函数模型包括两相位检测点扩散函数模型和四相位检测点扩散函数模型；s3、将聚焦rgb图像根据深度图进行分层；采用点扩散函数模型卷积每个层并混合后得到与聚焦rgb图像对应的仿真散焦rgb图像；s4、将仿真散焦rgb图像添加两相位检测或者四相位检测噪声分布，添加噪声分布后的仿真散焦rgb图像作为视差数据集。本发明提供的视差数据集生成方法，添加了噪声分布，使仿真散焦rgb图像更加接近真实，仿真方法生成的仿真散焦rgb获取的边界信息更为准确。本发明提供的视差估计网络形成方法，qpd视差图在视差的准确性和背景噪声有明显的优势。
1.一种视差数据集生成方法，其特征在于，包括：
2.如权利要求1所述的视差数据集生成方法，其特征在于，
3.如权利要求2所述的视差数据集生成方法，其特征在于，
4.如权利要求1所述的视差数据集生成方法，其特征在于，
5.如权利要求4所述的视差数据集生成方法，其特征在于，
6.如权利要求2或4所述的视差数据集生成方法，其特征在于，
7.如权利要求1所述的视差数据集生成方法，其特征在于，
8.如权利要求1所述的视差数据集生成方法，其特征在于，
9.一种视差数据集生成方法，其特征在于，包括：
10.如权利要求9所述的视差数据集生成方法，其特征在于，
11.如权利要求1所述的视差数据集生成方法，其特征在于，还包括：
12.一种视差估计网络形成方法，其特征在于，包括：
