本发明属于图像压缩领域，特别涉及基于字典学习和深度学习的图像压缩方法。
背景技术：
1、图像压缩是图像信号处理领域中一个重要且长期存在的研究方向。现代社会对高分辨率图像的广泛需求对于高分辨率图片存储和传输方面带来的严峻的挑战。因此，一种强大的图像压缩技术急待研制。而这种图像压缩技术不仅需要能够将图像进行更为紧密的压缩以满足高分辨图像的存储和传输需求，还需要保证所重构图像的保真度，以提供给用户高质量的高分辨率图像。
2、最近基于深度学习的图像压缩算法(lic)已经展现出卓越的性能，甚至超越了当前最先进的图像和视频编码标准vvc。这主要归因于其强大的非线性变换能力和端到端的联合优化方法。基于深度学习的图像压缩算法主要有两个关键的组件组成：非线性的编解码器和熵模型。编码器和解码器的作用是将图像和潜在表示进行互相的转换；而熵模型则用于估计量化后的潜在表示的概率分布。这个概率分布将进一步被用来进行熵编码，将潜在表示编码为比特流，或者将比特流解码回潜在表示。
3、为了利用非线性映射能力将输入图像转换为更加紧密的潜在表示，一些学者研究于设计强大的具有非线性能力的编解码器。ballé等人使用卷积神经网络(cnn)来对输入图像进行局部建模。cheng等人应用注意力模块来使得模型能够处理具有挑战性的内容。而xie等人利用可逆神经网络来缓解信息丢失的问题。zou等人和zhu等人首先利用变换器能够有效的建模长距离依赖的优点，使用变换器来组建他们的编解码器。为了同时具有局部建模和非局部建模的能力，本发明同时使用cnn和变换器来组成我们的编解码器。
4、另外一些学者研究更加基础的模块即熵模型来对潜在表示进行概率分布建模。ballé等人首先提出了使用完全分解的密度熵模型来进行概率分布建模，实现了熵模型的端到端联合优化。为了进一步提升熵模型的建模能力，ballé等人引入了超先验网络结构，通过利用侧信息捕捉潜在表示的空间依赖关系，并将潜在表示建模为单高斯分布。cheng等人进一步使用更具表达能力的离散混合高斯分布来建模潜在表示。kim等人使用变换器的注意力机制建立了潜在表示间的全局依赖关系。minnen等人则引入了空间像素维度的自回归编解码方式，通过利用已解码的潜在表示来辅助当前正在编解码的潜在表示的概率分布建模。为了进一步提高自回归编解码的速度，minnen等人使用基于通道维度的自回归上下文模型来实现并行化的编解码。he等人使用棋盘格形状的空间上下文模型来实现两步解码。
5、尽管在提升熵模型建模能力方面取得了诸多进展，这些工作主要集中于如何利用潜在表示的内部依赖关系来更好地对潜在表示进行概率分布建模。对于超先验网络而言，其通过在潜在表示上使用一个小型卷积神经网络来提取侧信息，从而进一步捕捉潜在表示的内部空间依赖关系。对于自回归的解码方式来说，使用已经解码的潜在表示来辅助解码当前正在解码的潜在表示，正是通过利用潜在表示的内部依赖关系来改善熵模型的建模能力。然而，仅仅依靠潜在表示间的内部依赖性限制了对概率分布的精准估计。在图像压缩任务中，引入更多的额外先验信息和外部依赖将有助于实现更高的压缩率和更保真的重构图像质量。本发明利用字典学习具有保存典型纹理和图案的能力，通过建立潜在表示和字典之间的外部依赖关系，引入额外的先验信息，从而在压缩过程中提供更准确的概率分布估计，显著提升图像的压缩率，并在重构图像时保持更高的质量。
技术实现思路
1、由于现有的图像压缩算法中的熵模型主要关注于如何利用潜在表示间的内部依赖来进行概率分布建模，而缺乏对于潜在表示与自然图像之间的外部依赖的探索，这限制了图像压缩算法得到更低的图像压缩率和更保真的重构图像质量。为了解决现有图像压缩算法由于无法有效的建立外部依赖而拥有有限的概率分布建模能力的问题，本发明利用了字典学习可以引入额外的信息的优点，通过使用一个字典来学习自然图像当中经常出现的纹理和图案，然后在熵模型进行概率分布建模时，使用包含部分纹理信息的上下文来查询包含完整纹理信息的字典，建立了潜在表示与字典之间的外部依赖关系，从而使得训练的图像压缩网络可以获取更高的图像压缩率和更保真的重构图像质量。
2、本发明解决上述技术问题所采用的技术方案是：一种基于字典学习和深度学习的图像压缩方法，包括以下步骤：
3、1)字典的建立。在图像压缩网络的熵模型中，我们使用一个可学习的网络参数作为字典，旨在捕捉训练数据集中常见的纹理和图案。通过引入这个字典，我们建立了潜在表示和字典之间的外部依赖关系，带来了额外的先验信息。该字典通过使用率失真损失函数和梯度下降算法进行优化。
4、2)字典信息的获取。在进行自回归的编解码时，一种交叉注意力(cross-attention)的方法会用来查询字典当中完整的纹理信息。具体来讲，携带着部分纹理信息的上下文信息和侧信息会被用来当作查询信息，通过使用该查询信息来查询携带着完整纹理信息的字典建立了潜在表示和字典之间的外部依赖关系，该字典信息会被用来更加准确的估计潜在表示的概率分布，从而训练出性能更好的图像压缩网络。
5、具体步骤如下：
6、步骤s1：获取训练数据并预处理；
7、步骤s2：构建端到端深度图像压缩网络；所述图像压缩网络包括编码器、解码器、基于字典的熵模型、超先验模块、量化器；待压缩图片作为输入通过编码器得到待压缩的潜在表示；潜在表示输入超先验模块和量化器；超先验模块产生超先验特征帮助基于字典的熵模型进行概率分布估计；量化器将潜在表示离散化为量化后的潜在表示；通过基于字典的熵模型输出的概率分布，对量化后的潜在表示进行编码为比特流或者从比特流中解码得到解码后的表示；解码后的表示使用量化误差r反量化得到反量化后的潜在表示；然后进一步被解码器恢复出重构图像；
8、步骤s3：对图像压缩网络进行有监督的训练，得到训练好的图像压缩网络，进行后续的图片压缩。
9、所述超先验模块从潜在表示y中提取一个侧信息z，侧信息z会进一步被量化，然后被超先验解码器映射到超先验特征
10、进一步的，所述基于字典的熵模型包括基于字典的交叉注意力模块dca和概率分布估计网络fe和量化误差预测网络flrp；具体的，将超先验特征与解码后的潜在表示切片作为基于字典的交叉注意力模块的输入来产生对于字典的查询，然后得到查询完字典后的携带着完整纹理的特征
11、
12、随后，和送入概率分布估计网络fe得到概率分布参数φi：
13、
14、概率分布参数φi用于对正在进行编解码的切片进行编码成比特流或者将其从比特流当中解码恢复出来。
15、进一步的，潜在表示y被量化后得到量化后的潜在表示然后沿通道维度均分为n个切片，这n个切片按照先后顺序进行熵编码；
16、切片与一起送入到量化误差预测网络flrp得到切片的预测的切片量化误差ri：
17、
18、反量化后的切片送入解码器gs，得到重构图像
19、进一步的，所述基于字典的交叉注意力模块的工作流程具体如下：
20、超先验特征与解码后的经过反量化的表示沿着通道维度拼接在一起获得查询特征进一步通过一个线性层产生查询令牌其中h×w表示输入像素的总个数，cqk表示每个查询令牌的通道数；一个网络学习参数被用来作为字典δ，该字典δ作为值令牌其中n表示字典项的数量，cd表示值令牌的通道数；使用一个线性层来产生键令牌使用公式表示如下：
21、
22、k＝δwk,
23、v＝δ；
24、其中wiq和wk分布代表着对于查询特征和字典δ的一个线性变化操作；
25、然后使用查询令牌qi和键令牌k得到查询特征和字典的相似度矩阵
26、
27、其中，δi表示学习参数，softmax用来归一化相似度大小；
28、使用相似度矩阵ai和值令牌v进一步得到包含完整纹理信息的字典特征
29、
30、该字典特征在被前馈神经网络增强后接下来会被送入到概率分布估计网络fe。
31、进一步的，在训练过程中，使用率失真损失函数作为深度图像压缩网络的损失函数：
32、
33、其中和分别表示量化后的潜在表示和量化后的侧信息的比特流大小，表示输入图像x和重构图像之间的像素级损失；λ为超参数。
34、进一步的，所述编码器ga三个下采样模块、三个变换器模块和一个下采样卷积层；待压缩图片x依次经过下采样模块、变换器模块、下采样模块、变换器模块、下采样模块、变换器模块、下采样卷积，得到待压缩的潜在表示y；
35、解码器gs包括三个上采样模块、三个变换器模块和一个上采样卷积层；反量化后的潜在表示依次经过上采样卷积、变换器模块、上采样模块、变换器模块、上采样模块、变换器模块、上采样模块，得到重构图像。
36、所述下采样模块由一个下采样卷积和三个残差块从前到后串联组成；变换器模块由若干个滑动窗口变换器层组成；上采样模块由一个上采样卷积层和三个残差块从前到后串联组成。
37、本发明的有益效果是，能够实现借助存储着自然图像当中常出现的纹理和图案的字典来实现更高的图片压缩效果和更保真的重构图像质量的深度学习图像压缩方法。首先，在使用率失真损失函数和梯度下降法的不断优化下，利用可学习的网络参数作为字典来捕获训练数据集当中常出现的纹理和图案，从而引入了额外的先验信息和外部依赖。其次，为了获取与潜在表示相关的存储在字典当中的纹理信息。本发明使用交叉注意力(cross-attention)的方法来利用含有部分纹理信息的上下文信息和侧信息来查询字典，将得到的字典信息用来更加精准的对潜在表示的概率分布进行评估从而获取更高的图像压缩率和更保真的重构图像质量。本发明构建了一种新的基于字典学习深度图像压缩算法，具有高性能的优点。
1.一种基于字典学习和深度学习的图像压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于字典学习和深度学习的图像压缩方法，其特征在于，所述超先验模块从潜在表示y中提取一个侧信息z，侧信息z会进一步被量化，然后被超先验解码器映射到超先验特征
3.根据权利要求1所述的一种基于字典学习和深度学习的图像压缩方法，其特征在于，所述基于字典的熵模型包括基于字典的交叉注意力模块dca和概率分布估计网络fe和量化误差预测网络flrp；具体的，将超先验特征与解码后的潜在表示切片作为基于字典的交叉注意力模块的输入来产生对于字典的查询，然后得到查询完字典后的携带着完整纹理的特征
4.根据权利要求3所述的一种基于字典学习和深度学习的图像压缩方法，其特征在于，潜在表示y被量化后得到量化后的潜在表示然后沿通道维度均分为n个切片，这n个切片按照先后顺序进行熵编码；
5.根据权利要求4所述的一种基于字典学习和深度学习的图像压缩方法，其特征在于，所述基于字典的交叉注意力模块的工作流程具体如下：
6.根据权利要求5所述的一种基于字典学习和深度学习的图像压缩方法，其特征在于，在训练过程中，使用率失真损失函数作为深度图像压缩网络的损失函数：
7.根据权利要求6所述的一种基于字典学习和深度学习的图像压缩方法，其特征在于，所述编码器ga三个下采样模块、三个变换器模块和一个下采样卷积层；待压缩图片x依次经过下采样模块、变换器模块、下采样模块、变换器模块、下采样模块、变换器模块、下采样卷积，得到待压缩的潜在表示y；
8.根据权利要求7所述的一种基于字典学习和深度学习的图像压缩方法，其特征在于，所述下采样模块由一个下采样卷积和三个残差块从前到后串联组成；变换器模块由若干个滑动窗口变换器层组成；上采样模块由一个上采样卷积层和三个残差块从前到后串联组成。
