本公开涉及图像处理领域,尤其涉及一种图像噪声消除方法、装置及存储介质。
背景技术:
1、数字图像处理领域中,图像去噪是一个重要的研究方向。
2、相关技术中,针对带有噪声的图像,通常使用去噪模型进行图像去噪。所用的去噪模型按照训练方式可以分为自监督式去噪模型以及非自监督式去噪模型。
3、现实生活中的图像噪声较为复杂,当前的两种去噪模型,在实际应用中,仅能针对具有较为简单的噪声图像进行去噪,面对具有较为复杂噪声的图像,两个均不能具有很好的去噪效果。
技术实现思路
1、为克服相关技术中存在的问题,本公开提供一种图像噪声消除方法、装置及存储介质。
2、根据本公开实施例的第一方面,提供一种图像噪声消除方法,包括:获取待去噪图像;调用第一模型对所述待去噪图像的平坦区进行去噪,得到第一去噪图像;缩小所述待去噪图像的感受野,得到预处理图像;调用第二模型对所述预处理图像的纹理区进行去噪,得到第二去噪图像;基于所述第一去噪图像和所述第二去噪图像,得到目标去噪图像。
3、一种实施方式中,所述第二模型采用如下方式确定:确定第一训练图像和第一输出图像,所述第一训练图像用于训练第一模型,所述第一输出图像为第一模型基于第一训练图像训练输出的图像;基于所述第一训练图像和所述第一输出图像训练所述第二模型。
4、另一种实施方式中,所述基于所述第一训练图像和所述第一输出图像训练所述第二模型,包括:缩小第一训练图像感受野,得到第三训练图像,并提取所述第一输出图像的纹理区,以及确定所述纹理区图像的纹理掩膜;输入所述第三训练图像至第二预设模型进行去噪处理,得到第二输出图像;基于所述第一输出图像、所述第二输出图像以及所述纹理掩膜确定第二损失函数;基于所述第二损失函数对所述第二预设模型进行训练约束,得到所述第二模型。
5、又一种实施方式中,所述第一模型基于如下方式训练得到,包括:获取第一训练图像;在所述第一训练图像中确定盲区像素区域,所述盲区像素区域包括所述第一训练图像的中心像素点,以及以所述中心像素点为中心的目标像素区域;在所述第一训练图像中,调整所述盲区像素区域的像素值小于阈值,得到第二训练图像;输入所述第二训练图像至第一预设模型进行去噪处理,得到第一输出图像;基于第一图像和第一训练图像确定第一损失函数;基于所述第一损失函数对所述第一预设模型进行训练约束,得到所述第一模型。
6、又一种实施方式中,所述基于所述第一输出图像、所述第二输出图像以及所述纹理掩膜确定第二损失函数,包括:将所述第二输出图像作为预测结果,并将所述第一输出图像作为实际结果以构建第二子损失函数;基于所述纹理掩膜对所述第二子损失函数进行加权处理,得到所述第二损失函数。
7、又一种实施方式中,所述基于所述第一去噪图像和所述第二去噪图像,得到目标去噪图像,包括:对所述第一去噪图像以及所述第二去噪图像进行加权融合,并将融合后的图像确定为目标去噪图像。
8、又一种实施方式中,其特征在于,所述基于所述第一去噪图像和所述第二去噪图像,得到目标去噪图像,包括:将所述待去噪图像输入至第三模型,得到第三去噪图像,所述第三模型基于所述第一模型以及所述第二模型确定;对所述第一去噪图像、所述第二去噪图像以及所述第三去噪图像加权融合,得到目标去噪图像。
9、又一种实施方式中,所述第三模型基于所述第一模型以及所述第二模型确定,包括:输入第一训练图像至第三预设模型进行去噪处理,得到第三输出图像;基于所述第一模型训练过程中的第一输出图像、所述第二模型训练过程中的第二输出图像以及所述第二模型训练过程中的纹理掩膜确定第三损失函数;基于所述第三损失函数确定所述第三预设模型的训练约束,得到所述第三模型。
10、又一种实施方式中,所述第三损失函数采用如下方式基于所述第一输出图像、所述第二输出图像、所述第三输出图像以及所述纹理掩膜确定:确定所述第一输出图像的像素值集合为第一数据集,确定所述第二输出图像的像素值集合为第二数据集以及确定所述第三输出图像的像素值集为第三数据集;将所述第三数据集作为预测结果,并将所述第一数据集作为实际结果构建第三子损失函数;将所述第三数据集作为预测结果,并将所述第二数据集作为实际结果构建第四子损失函数;基于所述纹理掩膜对所述第三子损失函数以及所述第四子损失函数进行加权融合,得到第三损失函数。
11、根据本公开实施例的第二方面,提供一种图像噪声消除装置,包括:获取单元,用于获取待去噪图像;
12、处理单元,用于调用第一模型对所述待去噪图像的平坦区进行去噪,得到第一去噪图像;缩小所述待去噪图像的感受野,得到预处理图像;调用第二模型对所述预处理图像的纹理区进行去噪,得到第二去噪图像;基于所述第一去噪图像和所述第二去噪图像,得到目标去噪图像。
13、一种实施方式中,所述第二模型基于如下方式确定:确定第一训练图像和第一输出图像,所述第一训练图像用于训练第一模型,所述第一输出图像为第一模型基于第一训练图像训练输出的图像;基于所述第一训练图像和所述第一输出图像训练所述第二模型。
14、另一种实施方式中,采用如下方式基于所述第一训练图像和所述第一输出图像训练所述第二模型:缩小第一训练图像感受野,得到第三训练图像,并提取所述第一输出图像的纹理区,以及确定所述纹理区图像的纹理掩膜;输入所述第三训练图像至第二预设模型进行去噪处理,得到第二输出图像;基于所述第一输出图像、所述第二输出图像以及所述纹理掩膜确定第二损失函数;基于所述第二损失函数对所述第二预设模型进行训练约束,得到所述第二模型。
15、又一种实施方式中,所述第一模型基于如下方式训练得到:获取第一训练图像;在所述第一训练图像中确定盲区像素区域,所述盲区像素区域包括所述第一训练图像的中心像素点,以及以所述中心像素点为中心的目标像素区域;在所述第一训练图像中,调整所述盲区像素区域的像素值小于阈值,得到第二训练图像;输入所述第二训练图像至第一预设模型进行去噪处理,得到第一输出图像;基于第一图像和第一训练图像确定第一损失函数;基于所述第一损失函数对所述第一预设模型进行训练约束,得到所述第一模型。
16、又一种实施方式中,采用如下方式基于所述第一输出图像、所述第二输出图像以及所述纹理掩膜确定第二损失函数:将所述第二输出图像作为预测结果,并将所述第一输出图像作为实际结果以构建第二子损失函数;基于所述纹理掩膜对所述第二子损失函数进行加权处理,得到所述第二损失函数。
17、又一种实施方式中,所述处理单元用于:所述处理单元采用如下方式基于所述第一去噪图像和所述第二去噪图像,得到目标去噪图像:对所述第一去噪图像以及所述第二去噪图像进行加权融合,并将融合后的图像确定为目标去噪图像。
18、又一种实施方式中,所述处理单元采用如下方式基于所述第一去噪图像和所述第二去噪图像,得到目标去噪图像:将所述待去噪图像输入至第三模型,得到第三去噪图像,所述第三模型基于所述第一模型以及所述第二模型确定;对所述第一去噪图像、所述第二去噪图像以及所述第三去噪图像加权融合,得到目标去噪图像。
19、又一种实施方式中,所述第三模型采用如下方式基于所述第一模型以及所述第二模型确定:输入第一训练图像至第三预设模型进行去噪处理,得到第三输出图像;基于所述第一模型训练过程中的第一输出图像、所述第二模型训练过程中的第二输出图像以及所述第二模型训练过程中的纹理掩膜确定第三损失函数;基于所述第三损失函数确定所述第三预设模型的训练约束,得到所述第三模型。
20、又一种实施方式中,所述第三损失函数采用如下方式基于所述第一输出图像、所述第二输出图像、所述第三输出图像以及所述纹理掩膜确定:确定所述第一输出图像的像素值集合为第一数据集,确定所述第二输出图像的像素值集合为第二数据集以及确定所述第三输出图像的像素值集为第三数据集;将所述第三数据集作为预测结果,并将所述第一数据集作为实际结果构建第三子损失函数;将所述第三数据集作为预测结果,并将所述第二数据集作为实际结果构建第四子损失函数;基于所述纹理掩膜对所述第三子损失函数以及所述第四子损失函数进行加权融合,得到第三损失函数。
21、根据本公开的第三方面,提供一种图像噪声消除装置,包括:
22、处理器;
23、用于存储处理器可执行指令的存储器;其中,处理器被配置为:执行第一方面或者第一方面中任意一种实施方式所述的图像噪声消除方法。
24、根据本公开的第四方面,提供一种存储介质,所述存储介质中存储有指令,当所述存储介质中的指令由设备的处理器执行时,使得设备能够执行第一方面或者第一方面中任意一种实施方式所述的图像噪声消除方法。
25、本公开的实施例提供的技术方案可以包括以下有益效果:通过调用第一模型以及第二模型分别对待去噪图像的平坦区以及纹理区进行去噪,并对去噪结果进行加权融合,得到最终的去噪图像。通过对待去噪图像记性纹理区以及平坦区的区分,并对纹理区以及平坦区进行针对性去噪,相较于相关技术中不作区域区分的去噪方法提高了对带有复杂噪声图像的去噪能力,进而提高了对于实际图片去噪的去噪效果。
26、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
1.一种图像噪声消除方法,其特征在于,包括:
2.根据权利要求1所述的图像噪声消除方法,其特征在于,所述第二模型采用如下方式确定:
3.根据权利要求2所述的图像噪声消除方法,其特征在于,所述基于所述第一训练图像和所述第一输出图像训练所述第二模型,包括:
4.根据权利要求1所述的图像噪声消除方法,其特征在于,所述第一模型基于如下方式训练得到,包括:
5.根据权利要求3所述的图像噪声消除方法,其特征在于,所述基于所述第一输出图像、所述第二输出图像以及所述纹理掩膜确定第二损失函数,包括:
6.根据权利要求1至5中任意一项所述的图像噪声消除方法,其特征在于,所述基于所述第一去噪图像和所述第二去噪图像,得到目标去噪图像,包括:
7.根据权利要求1至5中任意一项所述的图像噪声消除方法,其特征在于,所述基于所述第一去噪图像和所述第二去噪图像,得到目标去噪图像,包括:
8.根据权利要求7所述的图像噪声消除方法,其特征在于,所述第三模型基于所述第一模型以及所述第二模型确定,包括:
9.根据权利要求8所述的图像噪声消除方法,其特征在于,所述第三损失函数采用如下方式基于所述第一输出图像、所述第二输出图像、所述第三输出图像以及所述纹理掩膜确定:
10.一种图像噪声消除装置,其特征在于,包括:
11.一种图像噪声消除装置,其特征在于,包括:
12.一种存储介质,其特征在于,所述存储介质中存储有指令,当所述存储介质中的指令由终端的处理器执行时,使得所述终端能够执行权利要求1至9中任意一项所述的图像噪声消除方法。
