本发明涉及计算机与图像处理
技术领域：
，尤其涉及一种压缩成像分类方法及系统。
背景技术：
：智能监测系统主要由以下三个部分组成：前端-图像采集端，数据传输通道，后端-图像智能分析端。前端通过成像系统采集场景图像之后，传输通道负责将采集到的数据送给后端，后端采用图像处理、模式识别和计算机视觉技术对图像进行实时分析、识别。后端分析作为整个智能监测系统的结果输出端，其精度直接取决于图像采集的成像质量以及传输过程中的信息损耗，越高的成像质量能带来越高的识别精度，但是也需要采集和传输更多的数据量，不仅需要更高成本的探测器，同时对传输速度和传输通道的带宽有着极高的要求，例如，用于水下浮游生物实时监测系统中的原位成像仪planktonscope，每小时采集五万多幅图像，数据量高达300gb。因此，能否在保持高识别精度的情况下，压缩图像采集端的数据量对智能监测系统的发展具有重大意义。目前常用的压缩方法通常是在奈奎斯特采样率(nyquistsamplingrate)下对场景进行采集后，使用压缩算法(如：jpeg)降低数据量后再进行传输，这种方法在一定程度上可以降低传输带宽的负担，但是仍需先采集大量的数据，探测器的成本随之增高，在一些特殊波段尤为明显(如太赫兹波段探测器单个像素价格可高达103-104元)。随着压缩感知技术的出现，允许在低于奈奎斯特采样率时采集图像，达到“边采样边压缩”的效果，但是压缩感知要求图像在特定域足够稀疏，重构过程需要繁杂地迭代计算，且重构效果依赖于图像的稀疏程度，不利于最终的后端识别。技术实现要素：为解决上述问题，本发明提出一种压缩成像分类方法及系统，其能大大降低采集的数据量，且通过逆变换重构算法就可恢复目标场景的图像，同时保持高识别精度。本发明提出一种压缩成像分类方法，包括：s1.根据目标场景图像的大小m*n建立多个正交矩阵，所述正交矩阵为二维离散余弦变换的由低到高阶次的变换基底；s2.将所述多个正交矩阵二值化生成多个测量矩阵；s3.利用所述多个测量矩阵中的前n个测量矩阵对所述目标场景图像进行压缩采样，压缩率为f；同时提取场景图像频率信息，获得所述n个测量矩阵对应的权重，所述权重为调制目标场景的像所对应的光强值；s4.根据所述前n个测量矩阵所对应的正交矩阵和权重对所述目标场景进行重构和识别，输出所述目标场景的重构图像和类别；其中，所述数量n和压缩率f满足如下公式：n＝f*m*n。本发明同时考虑jpeg压缩算法和压缩感知技术，以离散余弦变换(discretecosinetransform,dct)为基础，结合利用图像低频信息可完成识别任务的思想，建立了由低到高阶次的正交矩阵，并将其二值化生成测量矩阵，从而在测量过程中采集图像的低频信息，在保持后端识别精度不变的情况下，将采样数据量大大降低，并可降低至5％-25％。另外，使用该测量矩阵，压缩解码不需要繁杂的迭代计算，通过逆变化重构就可恢复目标场景的图像。其中，测量矩阵的计算公式如下：其中，φ(u,v)为测量矩阵；(u,v)为频率域坐标，且u＝0,1,…,m；v＝0,1,…,n；m、n分别为目标场景图像的高度和宽度；f表示二值化函数；c(u)、c(v)为计算补偿系数，对于c(u)，其他情况对于c(v)，其他情况且一般m＝n；(x,y)为空间坐标，且有x＝0,1,…,m；y＝0,1,…,n。根据正交矩阵和权重，步骤s4中重构图像的计算公式如下：其中，i′为重构图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是正交矩阵φi的权重，n为选择的正交矩阵的总个数。其权重的计算公式和测量方法如下：wi＝＜i,φi＞其中，i代表目标场景图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是矩阵φi的权重；<>运算代表矩阵内积运算，即对两矩阵点乘后的所有元素求和，通过计算目标场景图像i与正交矩阵φi的内积获得正交矩阵φi的权重wi。本申请还公开一种压缩成像分类系统，其特征在于，包括：成像单元、测量矩阵加载单元、探测器、存储器和处理器；所述成像单元用于对目标场景进行成像；所述测量矩阵加载单元设置在所述成像单元的像面，用于加载测量矩阵并对所述目标场景进行光强度调制；所述探测器用于测量所述测量矩阵加载单元对所述目标场景进行光强度调制的光强值；所述存储器上存储有一计算机程序，所述计算机程序被处理器执行时可实现如下步骤：s1.根据目标场景图像的大小m*n建立多个正交矩阵，所述正交矩阵为二维离散余弦变换的由低到高阶次的变换基底；s2.将所述多个正交矩阵二值化生成多个测量矩阵；s3.利用所述多个测量矩阵中的前n个测量矩阵对所述目标场景图像进行压缩采样，压缩率为f；同时提取场景图像频率信息，获得所述n个测量矩阵对应的权重，所述权重为调制目标场景的像所对应的光强值；s4.根据所述前n个测量矩阵所对应的正交矩阵和权重对所述目标场景进行重构和识别，输出所述目标场景的重构图像和类别；其中，所述数量n和压缩率f满足如下公式：n＝f*m*n。本系统的采集速度主要取决于光强调制器的刷新频率，即测量矩阵加载单元加载测量矩阵的速度，通常可以使用数字微镜器件(dmd)进行光强调制，其最高速率即20khz，对于设计更精良的调制器，刷新频率可更高，采集速度会更快。附图说明图1为本发明实施例中压缩成像分类方法的流程图。图2为本发明实施例中压缩成像分类系统的结构示意图。具体实施方式下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。本实施例提供一种压缩成像分类方法，如图1所示，包括：s1.根据目标场景图像的大小m*n建立多个正交矩阵，所述正交矩阵为二维离散余弦变换的由低到高阶次的变换基底；s2.将所述多个正交矩阵二值化生成多个测量矩阵；s3.利用所述多个测量矩阵中的前n个测量矩阵对所述目标场景图像进行压缩采样，压缩率为f；同时提取场景图像频率信息，获得所述n个测量矩阵对应的权重，所述权重为调制目标场景的像所对应的光强值；s4.根据所述前n个测量矩阵所对应的正交矩阵和权重对所述目标场景进行重构和识别，输出所述目标场景的重构图像和类别；其中，所述数量n和压缩率f满足如下公式：n＝f*m*n。本实施例同时考虑jpeg压缩算法和压缩感知技术，以离散余弦变换(discretecosinetransform,dct)为基础，结合利用图像低频信息可完成识别任务的思想，建立了由低到高阶次的正交矩阵。对于m*n的目标场景图像，将图像分解为不同阶次正交矩阵的加权和，总共可以分解为m×n个正交矩阵，对应测量m×n次；这些正交矩阵作为dct基底是固定不变的，由低到高的阶次分别代表由低频到高频的基底，知道每个矩阵的权重时即可获得完整的图像，如公式(1)所示：其中，i代表目标场景图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是正交矩阵φi的权重。由于dct变换的特性，权重wi主要集中在低频部分，其他部分的值接近于0，因此可以直接舍去，在测量时只测量低频部分的权重，达到数据压缩的目的；只使用前n个测量矩阵进行采集，对应测量n次，则可将原来m*n个测量值压缩为n个测量值，此时的压缩率f＝n/(m*n)，且在降低测量数据量的同时保证重构和识别准确率，重构原理如下：其中，i′为重构图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是正交矩阵φi的权重，n为正交矩阵的总个数。相较于传统的压缩感知技术，本实施例并不以完整地恢复出原信号为目的，通过加入频率信息作为先验知识，按照公式(2)可完成解码重构工作。对于测量矩阵，其算法如公式(3)所示：其中，φ(u,v)为测量矩阵；(u,v)为频率域坐标，且u＝0,1,…,m；v＝0,1,…,n；m、n分别为目标场景图像的高度和宽度；f表示二值化函数；c(u)、c(v)为计算补偿系数，对于c(u)，其他情况对于c(v)，其他情况且一般m＝n；(x,y)为空间坐标，且有x＝0,1,…,m；y＝0,1,…,n。相较于使用传统的dct基底压缩方法，本实施例中将正交矩阵二值化后可直接应用于实际硬件系统(如：tidlp6500fye)。对于每个测量矩阵对应的权重，可以通过调制物体的像收集光强值即可获得，如公式(4)所示：wi＝＜i,φi＞公式(4)其中，i代表目标场景图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是矩阵φi的权重；<>运算代表矩阵内积运算，即对两矩阵点乘后的所有元素求和，通过计算目标场景图像i与正交矩阵φi的内积获得正交矩阵φi的权重wi。本实施例提出的由低到高阶次的正交矩阵二值化的测量矩阵，在测量过程中只获取图像的低频信息，大大降低了前端采集数据量，同时由于图像的信息主要集中在低频频域，因此在压缩测量的情况下仍能保持高识别精度。使用该测量矩阵时，压缩解码不需要繁杂的迭代计算过程，仅通过逆变换重构算法就可恢复目标场景的图像。根据如上的方法，将正交矩阵二值化后作为测量矩阵应用于实际的成像系统，如图2所示，本实施例还提供一种压缩成像分类系统，主要包括：前端的图像采集设备，数据传输设备以及后端的图像智能分析设备。其中，图像采集设备包括：光源、成像单元、测量矩阵加载单元和探测器；图像智能分析设备中包含存储器和处理器。存储器上存储有一计算机程序，所述计算机程序被处理器执行时可实现如上的步骤。通过成像单元对目标场景进行成像，将目标场景图像投影于测量矩阵加载单元上，成像单元对场景成像获得目标场景图像i。在成像单元的像面加载设计好的测量矩阵φi，把测量矩阵加载单元放置在成像单元像面时，φi对目标场景图像i进行调制(调制的过程相当于φi与i点乘)，再通过测量调制后的场景图像的光强值获得权重wi(测量光强的过程相当于求点乘后矩阵所有元素的和)，这种测量方式可在单探测器的情况下完成；采集数据传输至后端分析时，使用深度学习网络完成场景识别工作。深度学习网络为现有的各种深度学习网络，其网络结构与具体的数据集有关，例如，使用mnist数据集相应的网络为略作修改的lenet-5，使用cifar10数据集时相应的网络为略作修改的alexnet。将压缩测量得到的数据输入网络后，经过一系列运算，输出类别。本实施例中的系统具有如下的优点：(1)结构简单。相较于传统的监测系统，只需要在成像系统部分添加一个光强调制器，且更换不同的测量矩阵即可实现不同的压缩成像方法。(2)低成本。一方面在图像采集端，本实施例中的探测器只需要测量光强值，故只需要单个像素的探测器即可完成采集，相较于传统的监测系统所采用的ccd阵列，大大降低了探测器的个数；另一方面，由于数据量的下降，可节省传输通道的带宽，以达到降低成本的目的。(3)采集速度快。本系统采集速度主要取决于光强调制器的刷新频率，即加载测量矩阵的速度，通常可使用dmd(如：tidlp6500fye)进行光强调制，其刷新频率为20khz，对于设计更精良的调制器，刷新频率可更高。针对不同的压缩率，使用mnist数据集实验获得的仿真准确率如下表所示：压缩率1％5％10％25％准确率67.454±0.4066197.064±0.1973198.138±0.0216898.814±0.12462通过上表可知，在压缩率达到5％-25％的情况下，仍可以保持较好的识别精度。以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属
技术领域：
的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。当前第1页1 2 3
技术特征：1.一种压缩成像分类方法，其特征在于，包括：
s1.根据目标场景图像的大小m*n建立多个正交矩阵，所述正交矩阵为二维离散余弦变换的由低到高阶次的变换基底；
s2.将所述多个正交矩阵二值化生成多个测量矩阵；
s3.利用所述多个测量矩阵中的前n个测量矩阵对所述目标场景图像进行压缩采样，压缩率为f；同时提取场景图像频率信息，获得所述n个测量矩阵对应的权重，所述权重为调制目标场景的像所对应的光强值；
s4.根据所述前n个测量矩阵所对应的正交矩阵和权重对所述目标场景进行重构和识别，输出所述目标场景的重构图像和类别；
其中，所述数量n和压缩率f满足如下公式：n＝f*m*n。
2.如权利要求1所述的方法，其特征在于，所述步骤s2中测量矩阵的计算公式如下：
其中，φ(u,v)为测量矩阵；(u,v)为频率域坐标，且u＝0,1,…,m；v＝0,1,…,n；m、n分别为目标场景图像的高度和宽度；f表示二值化函数；c(u)、c(v)为计算补偿系数，对于c(u)，其他情况对于c(v)，其他情况且一般m＝n；(x,y)为空间坐标，且有x＝0,1,…,m；y＝0,1,…,n。
3.如权利要求1所述的方法，其特征在于，所述步骤s4中重构图像的计算公式如下：
其中，i′为重构图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是正交矩阵φi的权重，n为正交矩阵的总个数。
4.如权利要求1所述的方法，其特征在于，所述权重的计算公式如下：
wi＝＜i,φi＞
其中，i代表目标场景图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是矩阵φi的权重；<>运算代表矩阵内积运算，即对两矩阵点乘后的所有元素求和，通过计算目标场景图像i与正交矩阵φi的内积获得正交矩阵φi的权重wi。
5.一种压缩成像分类系统，其特征在于，包括：成像单元、测量矩阵加载单元、探测器、存储器和处理器；所述成像单元用于对目标场景进行成像；所述测量矩阵加载单元设置在所述成像单元的像面，用于加载测量矩阵并对所述目标场景进行光强度调制；所述探测器用于测量所述测量矩阵加载单元对所述目标场景进行光强度调制的光强值；所述存储器上存储有一计算机程序，所述计算机程序被处理器执行时可实现如下步骤：
s1.根据目标场景图像的大小m*n建立多个正交矩阵，所述正交矩阵为二维离散余弦变换的由低到高阶次的变换基底；
s2.将所述多个正交矩阵二值化生成多个测量矩阵；
s3.利用所述多个测量矩阵中的前n个测量矩阵对所述目标场景图像进行压缩采样，压缩率为f；同时提取场景图像频率信息，获得所述n个测量矩阵对应的权重，所述权重为调制目标场景的像所对应的光强值；
s4.根据所述前n个测量矩阵所对应的正交矩阵和权重对所述目标场景进行重构和识别，输出所述目标场景的重构图像和类别；
其中，所述数量n和压缩率f满足如下公式：n＝f*m*n。
6.如权利要求5所述的系统，其特征在于，所述测量矩阵加载单元为频率为20khz的数字微镜器件。
7.如权利要求5所述的系统，其特征在于，所述步骤s2中测量矩阵的计算公式如下：
其中，φ(u,v)为测量矩阵；(u,v)为频率域坐标，且u＝0,1,…,m；v＝0,1,…,n；m、n分别为目标场景图像的高度和宽度；f表示二值化函数；c(u)、c(v)为计算补偿系数，对于c(u)，其他情况对于c(v)，其他情况且一般m＝n；(x,y)为空间坐标，且有x＝0,1,…,m；y＝0,1,…,n。
8.如权利要求5所述的系统，其特征在于，所述步骤s4中重构图像的计算公式如下：
其中，i′为重构图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是正交矩阵φi的权重，n为正交矩阵的总个数。
9.如权利要求5所述的系统，其特征在于，所述权重的计算公式如下：
wi＝＜i,φi＞
其中，i代表目标场景图像；φi是第i个正交矩阵，也就是第i个dct基底；wi是矩阵φi的权重；<>运算代表矩阵内积运算，即对两矩阵点乘后的所有元素求和，通过计算目标场景图像i与正交矩阵φi的内积获得正交矩阵φi的权重wi。
技术总结本发明提供一种压缩成像分类方法及系统，该方法包括：S1.根据目标场景图像的大小M*N建立多个正交矩阵，所述正交矩阵为二维离散余弦变换的由低到高阶次的变换基底；S2.将所述多个正交矩阵二值化生成多个测量矩阵；S3.利用所述多个测量矩阵中的前n个测量矩阵对所述目标场景图像进行压缩采样，压缩率为f；同时提取场景图像频率信息，获得所述n个测量矩阵对应的权重，所述权重为调制目标场景的像所对应的光强值；S4.根据所述前n个测量矩阵所对应的正交矩阵和权重对所述目标场景进行重构和识别，输出所述目标场景的重构图像和类别；其中，所述数量n和压缩率f满足如下公式：n＝f*M*N。利用该方法和系统可降低采集数据量至5％‑25％，同时保持高识别精度。
技术研发人员：程雪岷;焦文斌;林家用;高子琪;王安琪
受保护的技术使用者：清华大学深圳国际研究生院
技术研发日：2021.01.05
技术公布日：2021.04.06
