本发明涉及图像处理,特别是涉及一种基于视觉特性的无参考全景图像质量评价方法。
背景技术:
1、在过往的研究中,根据特征表达空间的不同,无参考型全景图像质量评价模型可以划分为3类。第1类全景图像表达空间的模型,由于全景空间图像为2维平面形式,所以该类方法也较为简单和易于理解,但是其存在较明显的拉伸形变,会引入新的失真从而影响结果的准确性;第2类是是基于其他投影表达空间的模型,该类模型主要是为了克服全景形式图像在两极处会产生明显拉伸形变的问题,它们首先将vr图像投影映射到其他表达空间,相比全景表达空间,这些空间解决了全景映射在两极区域引入拉伸形变失真的问题,该方法同样存在一些其他的映射失真,仍然无法等同于实际中用户体验的球面vr图像;第3类是基于实际观看空间的模型,该类模型主要是通过模拟人类在现实中观看vr内容时的真实过程或特性,以获得与人类主观评价更接近的客观质量评价结果。
2、基于视口(viewport)的方法目的是模拟人眼在某一时刻视角范围有限这一特性,该类方法首先从全景形式图像中恢复出实际观看空间中的视口图,然后通过度量视口图的质量来计算整个vr图像的质量分数,该类模型相比前两类更加符合用户实际观看特性,但是仍然存在选取的视口图像与真实观看情况下用户选取的视口图像不一致问题及没有考虑各个视口之间的关联性等问题。因此,设计一种基于视觉特性的无参考全景图像质量评价方法是十分有必要的。
技术实现思路
1、本发明的目的是提供一种基于视觉特性的无参考全景图像质量评价方法,以缓解因全景图像投影形变所导致的评价结果不够趋近人眼主观感受的问题。
2、为实现上述目的,本发明提供了如下方案:
3、一种基于视觉特性的无参考全景图像质量评价方法,包括如下步骤:
4、对erp投影格式的全景图像进行显著性检测,得到显著性图像;
5、对显著性图像进行坐标转换,得到三维球面显著性图像;
6、对三维球面显著性图像进行滑窗显著性值计算,得到视口图像;
7、对全景图像进行六面体投影变换,得到六面体投影图像;
8、对视口图像、六面体投影图像和全景图像分别进行特征提取操作,得到视口特征、六面体投影特征和全局特征;
9、对视口特征、六面体投影特征和全局特征进行特征拼接操作,得到拼接特征;
10、对拼接特征进行随机森林回归操作,得到质量分数,并将质量分数作为全景图像的质量评价结果。
11、可选地,显著性检测是采用salgan算法进行处理的。
12、可选地,对显著性图像进行坐标转换的具体步骤为:
13、将显著性图像的平面坐标从采样点坐标系转换至投影平面坐标系,转换的公式为:u=(m+0.5)/w,0≤m≤w;v=(n+0.5)/h,0≤n≤h;其中,(m,n)为采样平面坐标,(u,v)为投影平面坐标,w和h分别为投影平面的宽度和高度;
14、根据投影平面坐标计算经纬度坐标,计算公式为:φ=(u-0.5)*(2*π);θ=(0.5-v)*π;其中,φ为经纬度横坐标,θ为经纬度纵坐标。
15、可选地,对三维球面显著性图像进行滑窗显著性值计算的具体步骤为:在三维球面显著性图像上进行滑窗操作,若窗口的亮度中值在排序的前30%,则在三维球面显著性图像上将滑窗尺寸大小的图像截取出来并保存;若窗口的亮度中值不在排序的前30%,则继续向下滑动。
16、可选地,视口特征、六面体投影特征和全局特征均包括:空间梯度特征、空间梯度振幅特征、亮度信息特征、niqe特征和cornia特征。
17、可选地,使用随机森林回归器对拼接特征进行随机森林回归操作,随机森林回归器的参数n_estimators设置为8。
18、根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供的基于视觉特性的无参考全景图像质量评价方法,该方法包括:对erp投影格式的全景图像进行显著性检测,得到显著性图像;对显著性图像进行坐标转换,得到三维球面显著性图像;对三维球面显著性图像进行滑窗显著性值计算,得到视口图像;对全景图像进行六面体投影变换,得到六面体投影图像;对视口图像、六面体投影图像和全景图像分别进行特征提取操作,得到视口特征、六面体投影特征和全局特征;对视口特征、六面体投影特征和全局特征进行特征拼接操作,得到拼接特征;对拼接特征进行随机森林回归操作,得到质量分数,并将质量分数作为全景图像的质量评价结果。该方法缓解了因全景图像投影形变所导致的评价结果不够趋近人眼主观感受的问题。
1.一种基于视觉特性的无参考全景图像质量评价方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于视觉特性的无参考全景图像质量评价方法,其特征在于,所述显著性检测是采用salgan算法进行处理的。
3.根据权利要求1所述的基于视觉特性的无参考全景图像质量评价方法,其特征在于,对所述显著性图像进行坐标转换的具体步骤为:
4.根据权利要求1所述的基于视觉特性的无参考全景图像质量评价方法,其特征在于,对所述三维球面显著性图像进行显著性值计算的具体步骤为:在所述三维球面显著性图像上进行滑窗操作,若窗口的亮度中值在排序的前30%,则在所述三维球面显著性图像上将滑窗尺寸大小的图像截取出来并保存;若所述窗口的亮度中值不在排序的前30%,则继续向下滑动。
5.根据权利要求1所述的基于视觉特性的无参考全景图像质量评价方法,其特征在于,所述视口特征、所述六面体投影特征和所述全局特征均包括:空间梯度特征、空间梯度振幅特征、亮度信息特征、niqe特征和cornia特征。
6.根据权利要求1所述的基于视觉特性的无参考全景图像质量评价方法,其特征在于,使用随机森林回归器对所述拼接特征进行随机森林回归操作,所述随机森林回归器的参数n_estimators设置为8。