基于动态卷积和特征融合的图像压缩感知重构方法及系统与流程

专利2025-05-03  19


本发明涉及图像处理,尤其涉及一种基于动态卷积和特征融合的图像压缩感知重构方法及系统。


背景技术:

1、压缩感知(compressive sensing, cs)是一种面向视频图像信号的创新型采样方法,其能够显著提高采样速度并且高质量重构信号,因此在视频图像处理领域展现出广泛的应用潜力。近年来,深度学习技术在计算机视觉图像领域展现出远超过其他方法的卓越性能,目前已研究出多种基于深度学习的图像压缩感知方法,其中卷积神经网络(cnn)占据主流,与此同时,基于transformer的图像压缩感知模型也被提出。虽然上述深度学习压缩感知重构模型在图像重构质量上有较大进步,但模型中仍存在部分问题:(1)基于cnn的图像压缩感知方法极大程度发挥了cnn在捕捉局部特征上的优势,但cnn在处理时将忽略全局特征;(2)由于transformer是在自然语言处理(natural language processing, nlp)领域迁移而来,其对类似的捕捉全局序列的任务效果较优,但缺少了对局部特征的重视;(3)现有将cnn和transformer优势结合的方法有待进一步提高,其往往存在transformer分支占比过大而忽视部分局部特征影响的问题,以及现有全局与局部特征融合效果不佳的问题,导致最终图像重构的质量不高。


技术实现思路

1、为解决上述现有技术的不足,本发明提供了一种基于动态卷积和特征融合的图像压缩感知重构方法及系统,通过改进网络结构,提出一种动态卷积和transformer联合的图像压缩感知网络(dcct-net)模型,在图像重构的过程中采用并行的多层动态卷积(dcnn)和transformer分支结构,以分别提取动态卷积局部特征和全局特征,而且在结合cnn优异的局部特征处理能力和transformer把握全局特征能力的同时,采用特征自适应融合,有效提高重构图像的质量。

2、第一方面,本发明提供了一种基于动态卷积和特征融合的图像压缩感知重构方法。

3、一种基于动态卷积和特征融合的图像压缩感知重构方法,包括:

4、获取待压缩感知重构的原始图像;

5、将原始图像输入至训练完成的图像压缩感知模型中,经模型中的采样子网和初始化重构子网,进行分块采样并提取初始化重构特征图,初始化重构特征图再输入至模型中的深度重构子网,经并行的动态卷积分支和transformer分支,分别依次提取多尺度的动态卷积局部特征和全局特征,并通过加权特征融合模块对相同尺度的两特征融合,最终输出图像的融合特征,经重构后,模型输出高质量的重构图像。

6、第二方面,本发明提供了一种基于动态卷积和特征融合的图像压缩感知重构系统。

7、一种基于动态卷积和特征融合的图像压缩感知重构系统,包括:

8、图像获取模块,用于获取待压缩感知重构的原始图像;

9、图像重构模块,用于将原始图像输入至训练完成的图像压缩感知模型中,经模型中的采样子网和初始化重构子网,进行分块采样并提取初始化重构特征图,初始化重构特征图再输入至模型中的深度重构子网,经并行的动态卷积分支和transformer分支,分别依次提取多尺度的动态卷积局部特征和全局特征,并通过加权特征融合模块对相同尺度的两特征融合,最终输出图像的融合特征,经重构后,模型输出高质量的重构图像。

10、第三方面,本发明还提供了一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成第一方面所述方法的步骤。

11、第四方面,本发明还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成第一方面所述方法的步骤。

12、以上一个或多个技术方案存在以下有益效果:

13、1、本发明提供了一种基于动态卷积和特征融合的图像压缩感知重构方法及系统,通过改进网络结构,提出一种动态卷积和transformer联合的图像压缩感知网络(dcct-net)模型,在图像重构的过程中采用并行的多层动态卷积(dcnn)和transformer分支结构,将经初始化重构的图像信号分别输入至两个分支中进行局部和全局特征提取,并将每层提取的特征进行高效自适应融合,以便于下一层dcnn和transformer的特征提取操作,最终经过多层双结构并行分支后得到融合特征,经重构后得到高质量的重构图像。本发明通过在结合cnn优异的局部特征处理能力和transformer把握全局特征能力的同时,采用特征自适应融合,以此有效提高重构图像的质量。

14、2、考虑到现有图像压缩感知模型在运行过程中采用相同操作对待内容大不相同的图像块,这将导致特征提取的偏颇,为此,本发明提出了特征动态增强模块(fdam),其针对若干图像块的显著性内容进行区别对待,将cnn分支改进为动态卷积dcnn分支,通过卷积操作来考虑每个图像块内容的显著性,进一步提升图像压缩感知模型在局部特征上的表现能力,并减轻在计算上的额外负担。

15、3、考虑到现有的大多传统特征融合方式无法得到多种特征最优融合方案,为此,本发明提出了加权融合模块(wfm),考虑每次需要融合时的情况不同,采用不一致的融合策略实现dcnn捕捉的局部特征和transformer捕捉的全局特征充分互补,使融合结果更好地作用于下一步操作,以此保障最终提取特征的全面性,提高图像重构质量。



技术特征:

1.一种基于动态卷积和特征融合的图像压缩感知重构方法,其特征在于,包括:

2.如权利要求1所述的一种基于动态卷积和特征融合的图像压缩感知重构方法,其特征在于,所述深度重构子网包括并行的动态卷积分支和transformer分支、多层加权特征融合模块;

3.如权利要求2所述的一种基于动态卷积和特征融合的图像压缩感知重构方法,其特征在于,针对第一层加权特征融合模块,除了输入第一层次特征动态增强模块和transformer块提取的动态卷积局部特征和全局特征外,还包括初始化重构特征图。

4.如权利要求2所述的一种基于动态卷积和特征融合的图像压缩感知重构方法,其特征在于,所述特征动态增强模块包括适用于每一图像块的动态卷积层;

5.如权利要求2所述的一种基于动态卷积和特征融合的图像压缩感知重构方法,其特征在于,将动态卷积局部特征和全局特征输入至加权特征融合模块中进行特征融合,包括:

6.如权利要求1所述的一种基于动态卷积和特征融合的图像压缩感知重构方法,其特征在于,所述图像压缩感知模型的训练,包括:

7.一种基于动态卷积和特征融合的图像压缩感知重构系统,其特征在于,包括:

8.如权利要求7所述的一种基于动态卷积和特征融合的图像压缩感知重构系统,其特征在于,所述深度重构子网包括并行的动态卷积分支和transformer分支、多层加权特征融合模块;

9.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成如权利要求1-6中任一项所述的一种基于动态卷积和特征融合的图像压缩感知重构方法的步骤。

10.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成如权利要求1-6中任一项所述的一种基于动态卷积和特征融合的图像压缩感知重构方法的步骤。


技术总结
本发明公开一种基于动态卷积和特征融合的图像压缩感知重构方法及系统,涉及图像处理技术领域,该方法为:获取待压缩感知重构的原始图像;将原始图像输入至训练完成的图像压缩感知模型中,经模型中的采样子网和初始化重构子网,进行分块采样并提取初始化重构特征图,初始化重构特征图再输入至模型中的深度重构子网,经并行的动态卷积分支和Transformer分支,分别依次提取多尺度的动态卷积局部特征和全局特征,并通过加权特征融合模块对相同尺度的两特征融合,最终输出图像的融合特征,经重构后,模型输出高质量的重构图像。本发明采用动态卷积和Transformer分支结构,结合特征自适应融合,有效提高重构图像的质量。

技术研发人员:徐丽娟,梅海啸,仝丰华,赵大伟,于福强,李鑫,宋维钊
受保护的技术使用者:山东省计算中心(国家超级计算济南中心)
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-24093.html