图像处理方法及其图像处理装置、计算机可读存储介质与流程

专利2025-04-15  19


本发明涉及图像采集领域,特别涉及一种图像处理方法及其图像处理装置、计算机可读存储介质。


背景技术:

1、红外成像不受环境光强弱的影响,可以工作在弱光环境下,因此红外图像被广泛应用于目标识别和探测等领域,但其纹理细节较为模糊;而可见光图像可以提供丰富的纹理细节。将可见光图像和红外图像进行融合之后,获得的融合图像可以兼具二者的优势。

2、然而,现有技术的可见光图像与红外图像的融合效果不好,例如红外目标不够突出、图像缺乏自然感、噪声较大等。


技术实现思路

1、本发明解决的技术问题是如何提高可见光图像与红外图像的融合效果。

2、为解决上述技术问题,本发明实施例提供一种图像处理方法,包括:对可见光原始图像进行n层金字塔分解,得到n层可见光细节层;对红外原始图像进行n层金字塔分解,得到n层红外细节层,其中,n大于等于1;根据第a细节融合权重,对第a可见光细节层和第a红外细节层进行图像融合,获得第a细节融合图像;其中,a为大于等于0且小于等于n-1的正整数。

3、可选的,获得第a细节融合图像的步骤包括:根据所述第a细节融合权重、所述红外细节层内的各红外像素值、以及所述可见光细节层内的各可见光像素值,计算得到细节层融合图像lar=lav*weightlavi+lai*(1-weightlavi),lar表示细节层融合图像,weightlavi表示第a细节融合权重,lav为第a可见光细节层,lai为第a红外细节层。

4、可选的,对第a可见光细节层和第a红外细节层进行图像融合,获得第a细节融合图像的步骤还包括:获得第a细节融合权重。

5、可选的,获得第a细节融合权重的步骤包括:根据第a红外细节层,获得第a红外细节层的活跃度;根据第a可见光细节层,获得第a可见光细节层的活跃度;根据所述第a红外细节层的活跃度和所述第a可见光细节层的活跃度,结合第a红外降噪参数和第a可见光降噪参数,获得第a层细节融合权重。

6、可选的,所述图像处理方法还包括:对第a可见光细节层和第a红外细节层进行图像融合,获得第a细节融合图像之前,对第a可见光细节层和第a红外细节层分别进行夹断操作;获得第a细节融合图像的步骤中,对经夹断操作的第a可见光细节层和经夹断操作的第a红外细节层进行图像融合,获得第a细节融合图像。

7、可选的,对可见光原始图像进行n层金字塔分解,还得到可见光基础层;对红外原始图像进行n层金字塔分解,还得到红外基础层,其中,n为自然数;所述图像处理方法还包括:对所述可见光基础层和红外基础层进行图像融合,得到基础层融合图像。

8、可选的,对所述可见光基础层和红外基础层进行图像融合,得到基础层融合图像的步骤中,对所述可见光基础层和红外基础层进行平均融合,得到基础层融合图像。

9、可选的,对所述可见光基础层和红外基础层进行图像融合,得到基础层融合图像的步骤中,根据红外像素权重曲线和可见光像素权重曲线,对所述可见光基础层和红外基础层进行图像融合,得到基础层融合图像。

10、可选的,所述图像处理方法包括:所述图像处理方法还包括:设置红外像素权重曲线;设置红外像素权重曲线的步骤包括:在所述红外基础层像素值范围内设置背景目标领域、热目标领域和冷目标领域,其中背景目标领域中的红外像素值位于所述热目标领域中的红外像素值和所述冷目标领域中的红外像素值之间;分别设置所述背景目标领域的红外像素权重曲线、所述热目标领域的红外像素权重曲线和所述冷目标领域的红外像素权重曲线,其中所述背景目标领域中红外像素值所对应的红外像素权重小于等于所述热目标领域中红外像素值所对应的红外像素权重;所述背景目标领域中红外像素值所对应的红外像素权重小于等于所述冷目标领域中红外像素值所对应的红外像素权重。

11、可选的,在所述红外基础层像素值范围内设置背景目标领域、热目标领域和冷目标领域的步骤中,所述红外基础层像素值的平均值位于所述背景目标领域内。

12、可选的,分别设置最小红外像素值所对应的初始红外像素权重、第一红外像素值所对应的初始红外像素权重、第二红外像素值所对应的初始红外像素权重和最大红外像素值所对应的初始红外像素权重,其中所述最小红外像素值、所述第一红外像素值、第二红外像素值和最大红外像素值依次增大,所述最小红外像素值所对应的初始红外像素权重大于等于第一红外像素值所对应的初始红外像素权重,所述最大红外像素值对应的初始红外像素权重大于等于第二红外像素值所对应的初始红外像素权重,且所述最小红外像素值和所述第一红外像素值之间为所述冷目标领域,所述第一红外像素值和所述第二红外像素值之间为背景目标领域,所述第二红外像素值和所述最大红外像素值之间为所述热目标领域;根据所述最小红外像素值所对应的初始红外像素权重和所述第一红外像素值所对应的初始红外像素权重,得到所述冷目标领域的红外像素权重曲线;根据所述第一红外像素值所对应的初始红外像素权重和所述第二红外像素值所对应的初始红外像素权重,得到背景目标领域的红外像素权重曲线;根据所述第二红外像素值所对应的初始红外像素权重和所述最大红外像素值所对应的初始红外像素权重,得到热目标领域的红外像素权重曲线。

13、可选的,获得基础层融合图像的步骤包括:根据所述红外像素权重曲线、所述可见光像素权重曲线、所述可见光基础层内的各可见光像素值和所述红外基础层内的各红外像素值,计算得到基础层融合图像gnr=w_vis*gnv+w_ir*gni,gnr表示基础层融合图像,w_vis表示可见光像素权重,w_ir表示红外像素权重,gnv表示可见光像素值,gni表示红外像素值,n∈n,n为自然数。

14、可选的,所述图像处理方法还包括:根据第0细节融合图像、……、第a细节融合图像、……、第n-1细节融合图像进行图像复原,得到灰度融合图像。

15、可选的,对可见光原始图像进行n层金字塔分解,还得到可见光基础层;对红外原始图像进行n层金字塔分解,还得到红外基础层;所述图像处理方法还包括:在获取灰度融合图像的步骤中,根据所述基础层融合图像、第0细节融合图像、……、第a细节融合图像、……、第n-1细节融合图像进行图像复原,获得灰度融合图像。

16、可选的,对可见光原始图像进行n层金字塔分解的步骤和对红外原始图像进行n层金字塔分解的步骤中至少一个步骤中,对待处理图像进行n层拉普拉斯金字塔分解;其中,所述待处理图像为所述可见光原始图像和所述红外原始图像中的一个。

17、可选的,进行n层拉普拉斯金字塔分解的步骤包括:至少1次执行拉普拉斯金字塔分解步骤,第j次执行拉普拉斯金字塔分解步骤,获得第j-1拉普拉斯层,j为大于等于0且小于等于n的正整数;其中,第m次执行拉普拉斯金字塔分解步骤包括:对第m-1层图像进行高斯滤波;对经高斯滤波的第m-1层图像进行1/2下采样,获得经采样滤波第m层图像;对第m层图像进行上采样,获得第m-1高斯层;根据所述第m-1高斯层和所述第m-1层图像,获得第m-1拉普拉斯层,其中m为大于等于2且小于等于n的正整数。

18、可选的,第1次执行拉普拉斯金字塔分解的步骤中,对所述待处理图像进行高斯滤波以获得第0拉普拉斯层。

19、可选的,所述图像处理方法还包括:对可见光原始图像进行n层金字塔分解,还得到可见光基础层;对红外原始图像进行n层金字塔分解,还得到红外基础层,其中,n为自然数;对所述可见光基础层和红外基础层进行图像融合,得到基础层融合图像;根据所述基础层融合图像进行图像复原,获得灰度融合图像;根据第m-1可见高斯层和第m-1红外高斯层,获得2个色度层;对2个所述色度层,分别进行m-1次上采样,获得2个色度通道图像;根据2个所述色度通道图像和所述灰度融合图像,获得彩色图像。

20、可选的,根据第m-1可见高斯层和第m-1红外高斯层,获得2个色度层的步骤中,根据第n-1可见高斯层和第n-1红外高斯层,获得2个色度层。

21、相应地,本发明还提供一种图像处理装置,包括:存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述程序时,所述处理器执行以上所述的图像处理方法的步骤。

22、相应地,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机指令,所述计算机指令运行时执行以上所述的图像处理方法的步骤。

23、与现有技术相比,本发明实施例的技术方案具有以下有益效果:

24、本发明技术方案通过对所述可见光原始图像以及所述红外原始图像进行n层图像分解,得到可见光细节层以及红外细节层,根据第a细节融合权重,对第a可见光细节层以及第a红外细节层进行图像融合,由于可见光细节层以及红外细节层内包括噪音信息,而细节融合权重的计算能够调整可见光细节层以及红外细节层内的噪音,因此采用细节融合权重进行图像融合能够使得可见光细节层以及红外细节层内的噪音降低,进而保证可见光细节层以及红外细节层的融合效果。

25、进一步,本发明技术方案通过对所述红外细节层内各红外像素值以及所述可见光细节层内各可见光像素值进行阈值限定处理,使得所述红外细节层内以及所述可见光细节层内的像素值被限制,减少资源占,且抑制了光晕效应的产生。

26、进一步,通过对可见光原始图像进行n层金字塔分解,得到可见光基础层;对红外原始图像进行n层金字塔分解,得到红外基础层,并根据红外像素权重曲线和可见光像素权重曲线,对可见光基础层以及红外基础层进行融合,使得基础层融合图像中红外基础层不同像素值的显示权重存在高低,从而达到将红外基础层“注入”到可见光基础层中的效果,能够有效改善融合后红外目标的突出程度;而且由于可见光基础层以及红外基础层内仅包括结构信息,红外基础层在基础层融合图像中的突出显示,能够有效避免引入噪声信息,能够有效保证可见光基础层与红外基础层的融合效果。

27、进一步,通过在所述红外基础层像素值范围内设置背景目标领域、热目标领域和冷目标领域,且不同目标领域内的红外像素值所对应的红外像素权重不同,使得不同目标领域内的红外像素值在基础层融合图像中的显示权重存在高低,进而保证红外基础层能够在基础层融合图像中突出显示;而且所述冷目标领域中红外像素值所对应的红外像素权重和所述热目标领域中红外像素值所对应的红外像素权重均大于所述背景目标领域中红外像素值所对应的红外像素权重,能够有效改善融合后图像的对比度和自然感,能够有效改善融合效果。

28、进一步,本发明通过设置最小红外像素值所对应的初始权重值、第一红外像素值所对应的初始红外像素权重、第二红外像素值所对应的初始红外像素权重和最大红外像素值所对应的初始红外像素权重,即设置不同的初始红外像素权重,并根据不同的初始红外像素权重,获取不同目标领域内的红外像素权重曲线,后续可通过调整不同红外像素值所对应的红外像素权重,得到不同的红外权重曲线,实现对红外权重曲线的优化,使得红外基础层能够在基础层融合图像中精准地突出显示。

29、进一步,本发明技术方案根据n层金字塔分解后得到的可见高斯层、红外高斯层,获得2个色度通道图像,并根据2个色度通道图像以及灰度融合图像进行彩色分量处理,得到彩色输出图像,扩大了图像融合的应用场景。


技术特征:

1.一种图像处理方法,其特征在于,包括:

2.如权利要求1所述的图像处理方法,其特征在于,获得第a细节融合图像的步骤包括:

3.如权利要求1所述的图像处理方法,其特征在于,对第a可见光细节层和第a红外细节层进行图像融合,获得第a细节融合图像的步骤还包括:获得第a细节融合权重。

4.如权利要求3所述的图像处理方法,其特征在于,获得第a细节融合权重的步骤包括:

5.如权利要求1所述的图像处理方法,其特征在于,还包括:对第a可见光细节层和第a红外细节层进行图像融合,获得第a细节融合图像之前,对第a可见光细节层和第a红外细节层分别进行夹断操作;

6.如权利要求1所述的图像处理方法,其特征在于,对可见光原始图像进行n层金字塔分解,还得到可见光基础层;

7.如权利要求6所述的图像处理方法,其特征在于,对所述可见光基础层和红外基础层进行图像融合,得到基础层融合图像的步骤中,对所述可见光基础层和红外基础层进行平均融合,得到基础层融合图像。

8.如权利要求6所述的图像处理方法,其特征在于,对所述可见光基础层和红外基础层进行图像融合,得到基础层融合图像的步骤中,根据红外像素权重曲线和可见光像素权重曲线,对所述可见光基础层和红外基础层进行图像融合,得到基础层融合图像。

9.如权利要求8所述的图像处理方法,其特征在于,所述图像处理方法还包括:设置红外像素权重曲线;

10.如权利要求9所述的图像处理方法,其特征在于,在所述红外基础层像素值范围内设置背景目标领域、热目标领域和冷目标领域的步骤中,所述红外基础层像素值的平均值位于所述背景目标领域内。

11.如权利要求9所述的图像处理方法,其特征在于,分别设置最小红外像素值所对应的初始红外像素权重、第一红外像素值所对应的初始红外像素权重、第二红外像素值所对应的初始红外像素权重和最大红外像素值所对应的初始红外像素权重,其中所述最小红外像素值、所述第一红外像素值、第二红外像素值和最大红外像素值依次增大,所述最小红外像素值所对应的初始红外像素权重大于等于第一红外像素值所对应的初始红外像素权重,所述最大红外像素值对应的初始红外像素权重大于等于第二红外像素值所对应的初始红外像素权重,且所述最小红外像素值和所述第一红外像素值之间为所述冷目标领域,所述第一红外像素值和所述第二红外像素值之间为背景目标领域,所述第二红外像素值和所述最大红外像素值之间为所述热目标领域;

12.如权利要求9所述的图像处理方法,其特征在于,获得基础层融合图像的步骤包括:

13.如权利要求1所述的图像处理方法,其特征在于,所述图像处理方法还包括:根据第0细节融合图像、……、第a细节融合图像、……、第n-1细节融合图像进行图像复原,得到灰度融合图像。

14.如权利要求13所述的图像处理方法,其特征在于,对可见光原始图像进行n层金字塔分解,还得到可见光基础层;

15.如权利要求1所述的图像处理方法,其特征在于,对可见光原始图像进行n层金字塔分解的步骤和对红外原始图像进行n层金字塔分解的步骤中至少一个步骤中,对待处理图像进行n层拉普拉斯金字塔分解;

16.如权利要求15所述的图像处理方法,其特征在于,进行n层拉普拉斯金字塔分解的步骤包括:至少1次执行拉普拉斯金字塔分解步骤,第j次执行拉普拉斯金字塔分解步骤,获得第j-1拉普拉斯层,j为大于等于0且小于等于n的正整数;

17.如权利要求16所述的图像处理方法,其特征在于,第1次执行拉普拉斯金字塔分解的步骤中,对所述待处理图像进行高斯滤波以获得第0拉普拉斯层。

18.如权利要求16所述的图像处理方法,其特征在于,所述图像处理方法还包括:对可见光原始图像进行n层金字塔分解,还得到可见光基础层;对红外原始图像进行n层金字塔分解,还得到红外基础层,其中,n为自然数;

19.如权利要求18所述的图像处理方法,其特征在于,根据第m-1可见高斯层和第m-1红外高斯层,获得2个色度层的步骤中,根据第n-1可见高斯层和第n-1红外高斯层,获得2个色度层。

20.一种图像处理装置,其特征在于,包括:存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述程序时,所述处理器执行权利要求1至19中任一项所述的图像处理方法的步骤。

21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机指令,所述计算机指令运行时执行权利要求1至19中任一项所述的图像处理方法的步骤。


技术总结
一种图像处理方法及其图像处理装置、计算机可读存储介质,其中图像处理方法包括:对可见光原始图像进行N层金字塔分解,得到N层可见光细节层;对红外原始图像进行N层金字塔分解,得到N层红外细节层;根据第a细节融合权重,对第a可见光细节层和第a红外细节层进行图像融合,获得第a细节融合图像。通过对可见光原始图像以及红外原始图像进行N层图像分解,得到可见光细节层以及红外细节层,并根据细节融合权重,对可见光细节层以及红外细节层进行图像融合,由于可见光细节层以及红外细节层内包括噪音信息,采用融合权重进行图像融合能够使得可见光细节层以及红外细节层内的噪音降低,保证可见光细节层以及红外细节层的融合效果。

技术研发人员:陈炜,金映龙,池国泉
受保护的技术使用者:锐芯微电子股份有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23476.html