一种图像去噪方法、装置、电子设备及存储介质与流程

专利2025-04-14  26


本技术涉及图像处理,尤其涉及一种图像去噪方法、装置、电子设备及存储介质。


背景技术:

1、随着数字图像和视频在各领域的广泛应用,去噪技术成为了一个备受关注的研究领域。在数字图像和视频处理中,由于传感器和传输的干扰等原因,图像和视频中常常存在噪声和失真,噪声不仅会影响到图片和视频的视觉效果,也会对后续的图像分析、计算机视觉等任务造成影响。


技术实现思路

1、本技术实施例的主要目的在于提出一种图像去噪方法、装置、电子设备及存储介质,以去除图像中的噪声。

2、为实现上述目的,本技术实施例的一方面提出了一种图像去噪方法,所述方法包括以下步骤:

3、将高斯噪声分t步逐渐加入到原始图像中,使得所述原始图像的原始分布转换为高斯分布,得到t张正向的噪声图像;

4、将所述原始图像和第t张所述噪声图像拼接得到拼接图像,并将所述拼接图像输入到扩散模型,获得预测噪声;

5、根据t张正序的所述噪声图像的所述高斯分布确定所述噪声图像的后验分布;

6、在t张所述噪声图像中选取第t0张所述噪声图像作为初始化图像;将所述后验分布从所述初始化图像开始以所述正向的反向与各张所述噪声图像进行拟合,以去除各个所述噪声图像中的噪声,得到反向分布;

7、根据所述原始分布、所述预测噪声以及所述反向分布去除所述原始图像中的噪声以重建所述原始图像获得对应的目标图像。

8、在一些实施例中,所述将高斯噪声分t步逐渐加入到原始图像中,使得所述原始图像的原始分布转换为高斯分布,得到t张正序的噪声图像,包括以下步骤:

9、给定所述原始图像的所述原始分布x0~q(x0);

10、将所述高斯噪声分t步逐渐加入到所述原始图像x0中,从而依次得到潜变量x1....xt各向同性的所述高斯分布;

11、所述高斯分布的表达式包括:

12、

13、

14、其中,为高斯分布表达式,所述高斯分布的平均值和标准差由xt和βt函数确定;q(xt|xt-1)为正向的高斯分布,q(xt-1|xt)为反向的高斯分布。

15、在一些实施例中,所述将所述拼接图像输入到扩散模型,获得预测噪声,包括以下步骤:

16、采用u-net作为所述扩散模型,将所述拼接图像输入所述u-net,利用所述u-net中的收缩路径、中间路径和扩展路径处理所述拼接图像,获得所述预测噪声;

17、其中,所述u-net包括6层,每层均包括所述收缩路径、中间路径和扩展路径;每一层包括两个残差块,每个残差块包括两个操作,包括一个组归一化、一个激活函数和一个大小为3、步幅为1的过滤器;两个操作中间添加变压器正弦位置嵌入,使残差块确定时间t;除s6外,其他层执行降采样操作;

18、所述中间路径由2个残差块和1个注意力模块组成,注意力模块的输出为所述扩展路径的输入;所述扩展路径包括3个残差块,用于接收所述收缩路径上相应尺度的特征图;

19、所述u-net的表达式包括:

20、m-s6(s5(s4(s3(s2(s1(x))))));

21、ok=ek(ok-1+sn-k+1);

22、其中,x、si、m分别表示所述u-net的输入、第i层在所述收缩路径上的操作和所述中间路径的输入;ok,ek,sn-k+1分别表示第k层的输出结果,表示所述扩展路径第k层的操作,表示所述收缩路径对应层的输出;n设为6,表示所述扩展路径有6层。

23、在一些实施例中,所述方法还包括以下步骤:

24、采用目标损失函数训练所述扩散模型;

25、所述目标损失函数的表达式为:

26、

27、其中,

28、

29、lnew表示所述目标损失函数,l表示初始损失函数,λ表示超参数,d(i,j)表示i与j之间的l1距离;x0表示所述原始图像,表示所述原始图像的预测图像;y表示所述原始图像的更低分辨率的图像;e表示期望值;∈表示真实的高斯噪声,服从n(0,i);∈θ表示所述预测噪声;tt表示时间步;表示一个依赖于tt的系数,用于控制正向过程中的噪声添加;表示一个标准化因子,用于使所述预测噪声与真实噪声在相同的尺度上。

30、在一些实施例中,所述根据t张正序的所述噪声图像的所述高斯分布确定所述噪声图像的后验分布,包括以下步骤:

31、根据t张正序的所述噪声图像的所述高斯分布确定所述噪声图像的所述后验分布;

32、所述后验分布的表达式为:

33、

34、其中,

35、

36、

37、表示在正向过程中的条件均值;为与时间步tt相关的参数,表示在反向过程中噪声的比例。

38、在一些实施例中,所述在t张所述噪声图像中选取第t0张所述噪声图像作为初始化图像,包括以下步骤:

39、根据以下表达式确定第t0张所述噪声图像;

40、

41、其中αt=1-βt,∈表示噪声;

42、所述将所述后验分布从所述初始化图像开始以所述正向的反向与各张所述噪声图像进行拟合,以去除各个所述噪声图像中的噪声,得到反向分布,包括以下步骤:

43、将所述后验分布从所述初始化图像开始以所述正向的反向与各张所述噪声图像进行拟合,以去除各个所述噪声图像中的噪声,得到所述反向分布的表达式如下:

44、

45、其中,

46、

47、表示给定所述原始图像的低分辨率图像y后,从时间步t0开始重建所述原始图像x0的条件概率;表示在时间步t0时的潜变量的概率分布;pθ(xt-1|xt,y)表示在给定当前潜变量xt和条件y时,生成前一个时间步潜变量xt-1的概率分布;μθ(xt,y,t)表示基于当前时间步潜变量xt、条件y和时间步t计算得到的均值,均值由所述扩散模型的参数θ决定;∑θ(xt,y,t)表示基于当前xt、y和t计算得到的协方差矩阵。

48、在一些实施例中,所述根据所述原始分布、所述预测噪声以及所述反向分布去除所述原始图像中的噪声以重建所述原始图像获得对应的目标图像,包括以下步骤:

49、将所述原始分布、所述预测噪声以及所述反向分布确定重建表达式;

50、利用所述重建表达式去除所述原始图像中的噪声以重建所述原始图像获得对应的目标图像;

51、所述重建表达式为:

52、

53、重建过程包括以下表达式的操作:

54、

55、其中,表示线性低通滤波。

56、为实现上述目的,本技术实施例的另一方面提出了一种图像去噪装置,所述装置包括:

57、分布转换单元,用于将高斯噪声分t步逐渐加入到原始图像中,使得所述原始图像的原始分布转换为高斯分布,得到t张正向的噪声图像;

58、噪声预测单元,用于将所述原始图像和第t张所述噪声图像拼接得到拼接图像,并将所述拼接图像输入到扩散模型,获得预测噪声;

59、后验确定单元,用于根据t张正序的所述噪声图像的所述高斯分布确定所述噪声图像的后验分布;

60、反向拟合单元,用于在t张所述噪声图像中选取第t0张所述噪声图像作为初始化图像;将所述后验分布从所述初始化图像开始以所述正向的反向与各张所述噪声图像进行拟合,以去除各个所述噪声图像中的噪声,得到反向分布;

61、图像去噪单元,用于根据所述原始分布、所述预测噪声以及所述反向分布去除所述原始图像中的噪声以重建所述原始图像获得对应的目标图像。

62、为实现上述目的,本技术实施例的另一方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。

63、为实现上述目的,本技术实施例的另一方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。

64、本技术实施例至少包括以下有益效果:

65、本技术可以将高斯噪声分t步逐渐加入到原始图像中,使得原始图像的原始分布转换为高斯分布,得到t张正向的噪声图像;将原始图像和第t张噪声图像拼接得到拼接图像,并将拼接图像输入到扩散模型,获得预测噪声;根据t张正序的噪声图像的高斯分布确定噪声图像的后验分布;在t张噪声图像中选取第t0张噪声图像作为初始化图像;将后验分布从初始化图像开始以正向的反向与各张噪声图像进行拟合,以去除各个噪声图像中的噪声,得到反向分布;根据原始分布、预测噪声以及反向分布去除原始图像中的噪声以重建原始图像获得对应的目标图像。通过学习向低分辨率图像添加噪声的反向过程,从低分辨率图像重建高分辨率图像,以去除低分辨率图像中的噪声。


技术特征:

1.一种图像去噪方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种图像去噪方法,其特征在于,所述将高斯噪声分t步逐渐加入到原始图像中,使得所述原始图像的原始分布转换为高斯分布,得到t张正序的噪声图像,包括以下步骤:

3.根据权利要求1所述的一种图像去噪方法,其特征在于,所述将所述拼接图像输入到扩散模型,获得预测噪声,包括以下步骤:

4.根据权利要求3所述的一种图像去噪方法,其特征在于,所述方法还包括以下步骤:

5.根据权利要求1所述的一种图像去噪方法,其特征在于,所述根据t张正序的所述噪声图像的所述高斯分布确定所述噪声图像的后验分布,包括以下步骤:

6.根据权利要求1所述的一种图像去噪方法,其特征在于,所述在t张所述噪声图像中选取第t0张所述噪声图像作为初始化图像,包括以下步骤:

7.根据权利要求1所述的一种图像去噪方法,其特征在于,所述根据所述原始分布、所述预测噪声以及所述反向分布去除所述原始图像中的噪声以重建所述原始图像获得对应的目标图像,包括以下步骤:

8.一种图像去噪装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。


技术总结
本申请公开了一种图像去噪方法、装置、电子设备及存储介质,涉及图像处理技术领域,方法包括:将高斯噪声分T步逐渐加入到原始图像中,使得原始图像的原始分布转换为高斯分布,得到T张正向的噪声图像;将原始图像和第T张噪声图像拼接得到拼接图像,并将拼接图像输入到扩散模型,获得预测噪声;根据T张正序的噪声图像的高斯分布确定噪声图像的后验分布;在T张噪声图像中选取第t<subgt;0</subgt;张噪声图像作为初始化图像;将后验分布从初始化图像开始以正向的反向与各张噪声图像进行拟合,以去除各个噪声图像中的噪声得到反向分布;根据原始分布、预测噪声以及反向分布去除原始图像中的噪声以重建原始图像获得对应的目标图像。本申请可去除图像中的噪声。

技术研发人员:曾纪钧,李俊伟
受保护的技术使用者:广东电网有限责任公司信息中心
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23437.html