基于空间通道增强自注意力的超分辨率重建方法

专利2026-08-09  0


本发明属于计算机视觉及人工智能,涉及基于空间通道增强自注意力的超分辨率重建方法。


背景技术:

1、单图像超分辨率重建技术是一种图像处理方法,通过计算机处理低分辨率图像或图像序列来恢复高分辨率图像。近年来,这一技术在图像处理领域引起了广泛关注。成功重建细节丰富且高质量的高分辨率图像已成为研究焦点,这对于实时视频监控、医学图像处理、人脸识别和遥感影像等技术的进步具有深远影响。随着机器学习和深度学习技术的崛起,基于学习的策略逐渐受到了重视。其中,卷积神经网络(cnn)技术能够实现高质量的图像重建,已成为超分辨率技术的主流方法。近年来,transformer模型在自然语言处理和计算机视觉领域取得了显著成果。transformer模型以其强大的全局建模能力,逐渐被引入到单图像超分辨率重建技术中,与传统的卷积神经网络相比,transformer能够更有效地捕捉图像中的长距离依赖关系和复杂的纹理信息,从而提升重建图像的质量。现有重建方法中普遍存在的网络模型参数量庞大、计算复杂度高、对通道信息利用不足、重建效果不理想等问题,因此如何结合transformer模型的单图像超分辨率重建技术来减少对大量参数的依赖,使其在计算成本和性能方面具备优势,已成为图像处理领域的一个研究焦点。


技术实现思路

1、本发明的目的是提供基于空间通道增强自注意力的超分辨率重建方法,能够提升重建图像质量。

2、本发明所采用的技术方案是,基于空间通道增强自注意力的超分辨率重建方法,具体按以下步骤实施:

3、步骤1,构建基于空间通道增强自注意力的超分辨率重建模型;

4、步骤2,对经步骤1构建的模型进行训练;

5、步骤3,对经步骤2训练的模型进行测试。

6、本发明的特点还在于:

7、步骤1具体按以下步骤实施:

8、步骤1.1,构建浅层特征初步提取模块;

9、步骤1.2,构建深层特征提取与融合模块;

10、步骤1.3,构建上采样模块。

11、步骤1.1具体按以下步骤实施:

12、步骤1.1.1,将包含3个通道的低分辨率图像输入;

13、步骤1.1.2,对输入特征进行3×3的标准卷积操作,并将其输出通道数调整为60。

14、步骤1.2构建深层特征提取与融合模块具体按以下步骤实施:

15、步骤1.2.1,构建1个卷积像素注意力块(cpab);

16、f0=hcpab(fsf)                          (1)

17、式中f0表示输出的深度特征,fsf为输入的浅层特征。

18、步骤1.2.2,构建12个残差融合模块(rfm);

19、fi=hrfm(fi-1)                          (2)

20、式中fi表示第i个rfm(1,…,12)的深度特征,fdf为按通道维度连接后的深度特征。

21、步骤1.2.3,构建高效卷积块。

22、步骤1.2.4,对步骤1.2.3的输出特征和步骤1.1的输出特征做残差连接操作。

23、步骤1.2.2具体按以下步骤实施:

24、步骤1.2.2.1,构建增强自注意力块

25、首先,对输入特征进行层归一化操作;其次,对输入特征采用两条路径分别提取特征;在路径1中,构建基于swin transformer的空间自注意力块,然后构建增强空间注意力对输出特征计算空间注意力图,并将输出特征与另一条路径的通道注意力图计算乘积;在路径2中,构建基于transformer的通道自注意力块,然后构建对比感知通道注意力对输出特征计算通道注意力图,并将输出特征与另一条路径的空间注意力图计算乘积;之后将路径1的输出特征与路径2的输出特征相加,然后进行1×1卷积操作;最终,将输出特征与该模块的输入特征做残差连接操作;其中,给定输入x∈rh×w×c,设窗口大小为h×w,则可将x划分为多个窗口,ssb的第i个窗口的注意力计算可表示为:

26、

27、qin=xiwnq,kin=xiwnk,vin=xiwnv                      (4)

28、

29、其中,xi代表第i个窗口的输入,n代表第n个注意力头(n=1,…,n),为线性层的权重,分别用于生成query、key、value,d=c/n,b为相对位置编码;给定输入x∈r(h×w)×c,csb的注意力计算可表示为:

30、

31、其中,为线性层的权重,分别用于生成query、key、value,n代表第n个注意力头(n=1,…,n),γ用于自适应缩放每个注意力头的特征;

32、步骤1.2.2.2,构建门控前馈网络

33、首先,对输入特征进行层归一化操作;其次,对特征进行1×1卷积操作和gelu非线性激活操作;之后,对特征进行3×3的卷积操作,并与原始特征计算乘积,然后进行1×1卷积操作;最终,将输出特征与该模块的输入特征做残差连接操作;

34、步骤1.2.2.3,构建高效卷积块。

35、步骤1.2.3具体按以下步骤实施:

36、步骤1.2.3.1,对输入特征进行3×3卷积操作,同时缩减通道数,并进行leakyrelu非线性激活操作;

37、步骤1.2.3.2,对输入特征进行1×1的卷积操作,并进行leakyrelu非线性激活操作;

38、步骤1.2.3.3,对输入特征进行3×3卷积操作,同时扩张通道数。

39、步骤1.3中对输入特征进行3×3卷积操作,输出特征数为缩放因子的平方与3的乘积,然后对特征进行像素重排,生成上采样后的重建图像。

40、步骤2中具体按以下步骤实施:

41、步骤2.1,采用div2k的800张图像和flickr2k的2650张图像作为训练数据集,对训练数据集图像进行随机旋转和水平翻转进行数据扩充;

42、步骤2.2,使用双三次方法进行下采样,分别生成2倍、3倍和4倍缩放因子下的低分辨率图像;

43、步骤2.3,将原始图像裁剪为64×64大小的块作为模型输入的rgb图像;

44、步骤2.4,设置训练超参,进行模型的训练。

45、步骤2.4中采用adam作为优化器进行训练,初始学习率设置为2×10-4,采用多步长的学习率减少策略,使用l1损失函数对模型进行优化5×105次迭代:

46、

47、式中,n为输入的低分辨率图像lr的个数,θ为模型的训练参数集合,|·|为绝对值运算符;此外,在缩放因子为3和4的模型训练中,使用训练完成的缩放因子为2的模型作为初始权重。

48、步骤3具体按以下步骤实施:

49、步骤3.1,采用set5、set14、bsd100、urban100和manga109作为测试数据集;

50、步骤3.2,加载训练的模型,生成超分辨率重建的图像;

51、步骤3.3,计算峰值信噪比、结构相似度、lpips、感知指数,评估重建图像质量。

52、本发明的有益效果是:

53、本发明基于空间通道增强自注意力的超分辨率重建方法,解决了现有重建方法中普遍存在的网络模型参数量庞大、计算复杂度高、对通道信息利用不足、重建效果不理想等问题,使得重建图像的纹理细节更加丰富逼真,重建质量显著提升,在实际应用中具有广阔的前景和重要的应用价值。


技术特征:

1.基于空间通道增强自注意力的超分辨率重建方法,其特征在于,具体按以下步骤实施:

2.根据权利要求1所述的基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤1具体按以下步骤实施:

3.根据权利要求2所述的基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤1.1具体按以下步骤实施:

4.根据权利要求2所述的基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤1.2具体按以下步骤实施:

5.根据权利要求4所述的基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤1.2.2具体按以下步骤实施:

6.根据权利要求4所述的基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤1.2.3具体按以下步骤实施:

7.根据权利要求2所述的基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤1.3中对输入特征进行3×3卷积操作,输出特征数为缩放因子的平方与3的乘积,然后对特征进行像素重排,生成上采样后的重建图像。

8.根据权利要求1所述的基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤2中具体按以下步骤实施:

9.根据权利要求8的一种基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤2.4中采用adam作为优化器进行训练,初始学习率设置为2×10-4,采用多步长的学习率减少策略,使用l1损失函数对模型进行优化5×105次迭代:

10.根据权利要求1所述的一种基于空间通道增强自注意力的超分辨率重建方法,其特征在于,所述步骤3具体按以下步骤实施:


技术总结
本发明公开了基于空间通道增强自注意力的超分辨率重建方法,具体按以下步骤实施:步骤1,构建基于空间通道增强自注意力的超分辨率重建模型;步骤2,对经步骤1构建的模型进行训练;步骤3,对经步骤2训练的模型进行测试。本发明解决了现有重建方法中普遍存在的网络模型参数量庞大、计算复杂度高、对通道信息利用不足、重建效果不理想等问题,使得重建图像的纹理细节更加丰富逼真,重建质量显著提升,在实际应用中具有广阔的前景和重要的应用价值。

技术研发人员:宋霄罡,庞欣超,黑新宏
受保护的技术使用者:西安理工大学
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-33345.html