本发明涉及超高清图像的域适应，特别涉及多粒度感知与原型驱动的超高清图像域自适应识别方法。
背景技术：
1、随着机器视觉技术的快速发展，超高清成像技术已经开始被应用到监控、侦查等领域中。然而，由于超高清图像获取难、具有良好标注的数据较为稀缺，难以直接采用少量标注良好的超高清图像训练得到泛化力强的神经网络模型。此外，若直接采用无监督学习或是大量标注可能存在噪声的超高清图像进行训练，得到的深度神经网络模型的预测精度与鲁棒性难以符合现实需求。因此，如何利用无监督域自适应技术将当今发展成熟的常规图像识别中的监督知识迁移到超高清图像领域中，促使超高清图像识别模型泛化能力更好、鲁棒性更强，是提升超高清图像识别性能的关键方案路径。
2、现有的超高清图像识别技术直接采用卷积神经网络、transformer等深度模型直接对少量的完整标注的超高清图像进行特征提取，再将图像特征输入到分类器中得到最终的识别结果。或者是直接将超高清图像进行降采样成为常规图像后，将其输入到常规图像的深度神经网络中进行学习与识别。
3、此外，一些无监督域自适应开始应用到该领域。其中，有标注信息的源域对应常规图像领域，而无标注的领域对应超高清图像领域。传统的无监督域自适应方法通常视常规图像与超高清图像归属于不同的数据分布，再基于实例层次逐个消除样本对之间的差异，也就是域偏移。随着深度学习的发展，更多方法采用基于对抗的技术来解决域偏移的影响。它们将超高清图像作为常规图像的对抗集，力求从像素级别削弱两者间的差异性。此外，基于自监督的域自适应方法通过直接将常规图像的预训练模型对超高清图像进行直接分类得到伪标签，并以此作为监督信号进行学习，实现对超高清图像的识别。
4、因此，现有的超高清图像识别方法仍然局限于成熟的常规图像识别技术或是直接套用无监督域自适应方法模板，忽略了超高清图像自身的特点。一般来说，这些现有的超高清图像识别技术都有一些共同的局限性：
5、(1)超高清图像包含的庞大数量的细粒度信息没有被很好利用，甚至被部分现有方法给直接摒弃。
6、(2)忽略了超高清图像标注难，数量少的特点，直接训练难以取得强泛化的识别性能。
7、(3)超高清图像体量大，无论是基于实例还是对抗的深度方法都面临庞大的时间、空间计算消耗。
技术实现思路
1、本发明的目的在于提供多粒度感知与原型驱动的超高清图像域自适应识别方法，能够把握超高清图像细节丰富、标注稀少、单张体量大的特点，实现了超高清图像细粒度特征的充分感知，解决了超高清图像的细粒度特征被忽略的问题；同时，采用大量有标注的常规图片与少量无标注超高清图像实现无监督域自适应识别，采用轻量级的原型学习技术将常规图像的监督知识迁移至超高清图像领域中，实现更精确的超高清图像识别，解决了超高清图像领域标注难、数量少、计算资源消耗大的问题。
2、本发明解决其技术问题，采用的技术方案是：
3、多粒度感知与原型驱动的超高清图像域自适应识别方法，包括如下步骤：
4、获取跨图像域的常规图像数据集与超高清图像数据集，并对常规图像数据集与超高清图像数据集进行预处理，得到预处理后的批次训练图像数据集；
5、构建并初始化多粒度特征提取器和特征分类器；
6、基于批次训练图像数据集，结合多粒度特征提取器和特征分类器训练得到超高清图像无监督域自适应识别模型；
7、将待识别的超高清图像输入至基于超高清图像无监督域自适应识别模型中进行分类，得到超高清图像的识别结果。
8、作为进一步优化，所述获取跨图像域的常规图像数据集与超高清图像数据集，并对常规图像数据集与超高清图像数据集进行预处理，得到预处理后的批次训练图像数据集，包括如下步骤：
9、获取带有准确标签的常规图像数据集，该常规图像数据集包含生产生活的各个场景的常规自然图像；
10、获取没有标签的超高清图像数据集；
11、对上述两个图像数据集进行数据清洗，筛掉错误图像数据和噪声图像数据，得到常规图像数据集和超高清图像数据集
12、将常规图像数据集和超高清图像数据集训练数据进行划分与规整，得到批次训练图像数据集
13、作为进一步优化，所述构建并初始化多粒度特征提取器和特征分类器，包括如下步骤：
14、建立并用预训练参数初始化faster rcnn网络框架，得到目标检测模型
15、建立并用预训练参数初始化resnet-18网络框架，得到骨干网络模型
16、建立并随机初始化单层卷积神经网络框架，得到细粒度注意力网络并建立单层全连接神经网络框架，得到特征粒度注意力网络
17、组合目标检测模型骨干网络模型细粒度注意力网络和特征粒度注意力网络得到多粒度特征提取器
18、建立并随机初始化多层全连接神经网络框架，得到特征分类器f。
19、作为进一步优化，所述基于批次训练图像数据集，结合多粒度特征提取器和特征分类器训练得到超高清图像无监督域自适应识别模型，包括如下步骤：
20、将批次训练图像数据集输入到多粒度特征提取器中，提取得到每个批次图像的多粒度特征
21、将常规图像作为源域，并将源域多粒度特征根据图像的类别信息与k-means聚类算法，计算得到源域的原型中心cs；
22、将超高清图像作为目标域，并将目标域多粒度特征通过k-means聚类算法，聚类得到目标域的原型中心ct；
23、利用源域图像的多粒度特征和源域的原型中心cs，以及利用目标域的图像多粒度特征和目标域的原型中心ct，在各领域中计算得到域中内聚损失
24、联合源域图像的多粒度特征和源域的原型中心cs，以及目标域的图像多粒度特征和目标域的原型中心ct，在领域间计算得到域间耦合损失
25、将源域图像的多粒度特征和目标域的图像多粒度特征输入到特征分类器中，得到特征分类偏移损失
26、根据域中内聚损失域间耦合损失和特征分类偏移损失计算得到整个模型优化的总损失
27、计算总损失的梯度，对整个模型进行反向传播与参数优化，当总损失满足收敛条件时，得到已完成训练的超高清图像无监督域自适应识别模型。
28、作为进一步优化，所述多粒度特征的计算公式为：
29、
30、
31、
32、其中，是批次图像的多粒度特征集，是源域图像的多粒度特征集，是目标域图像的多粒度特征集，是多粒度特征提取器，和分别是源域图像和目标域图像的批次训练数据集。
33、作为进一步优化，所述源域的原型中心cs的计算公式为：
34、
35、所述目标域的原型中心ct的计算公式为：
36、
37、其中，cs表示构建的源域的原型中心，表示对源域特征进行k-means聚类后得到的簇中心，表示源域每个类别的类别中心，e代表一个权重超参数，用于权衡聚类簇中心与类别中心在原型中心的构建中所占的比重，ct表示构建的目标域的原型中心，使用来构造原型中心，表示目标域特征进行k-means聚类后得到的簇中心。
38、作为进一步优化，所述域中内聚损失的表达式为：
39、
40、其中，代表域中内聚损失函数，ns指源域图像数据总量，nt指目标域图像数据总量，i，j是对图像数据迭代计算损失函数的指示变量，ce指交叉熵损失函数，表示提取到的源域图像第i个特征，表示提取到的第j个目标域图像特征，是源域图像的多粒度特征集，是目标域图像的多粒度特征集，代表目标域特征的最近聚类中心的索引；
41、所述域间耦合损失的表达式为：
42、
43、其中，代表域间耦合损失函数，entropy指信息熵的计算，代表特征簇的跨域原型中心，代表源域特征和目标域特征的最近跨域原型中心cg的索引；
44、所述特征分类偏移损失的表达式为：
45、
46、其中，表示特征分类偏移损失，表示源域特征对应的类别标签，f表示已完成构建的特征分类器，是对特征进行分类的函数表示。
47、作为进一步优化，所述总损失的表达式为：
48、
49、其中，表示总损失函数，分别代表域中内聚损失函数、域间耦合损失函数、特征分类偏移损失函数，α、β、γ分别表示对应函数项的权重值。
50、作为进一步优化，所述总损失满足收敛条件，是指连续5个批次的总损失满足：
51、
52、其中，为第ep个批次的总损失，为第ep-1个批次的总损失，|·|为绝对值函数。
53、本发明的有益效果是：通过上述多粒度感知与原型驱动的超高清图像域自适应识别方法，可以基于基于多粒度注意力感知机制，利用图像卷积操作、预训练图像编码器、注意力机制实现了融合局部和全局信息的超高清图像特征提取，赋予模型全面提取超高清图像细粒度特征、总体特征的能力；并且，本发明还通过采用基于常规图像作为源域的无监督域自适应的超高清图像识别解决方案，使得常规图像中广泛的监督知识能够迁移到超高清图像领域中，提升模型在超高清图像识别中的性能与泛化力；另外，本发明采用原型学习作为域自适应的驱动技术，以原型中心-公共表示这样“一对多”的范式实现域中内聚学习和域间耦合学习，以更小的计算代价提升模型判别力并消除域偏移。
1.多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，所述获取跨图像域的常规图像数据集与超高清图像数据集，并对常规图像数据集与超高清图像数据集进行预处理，得到预处理后的批次训练图像数据集，包括如下步骤：
3.根据权利要求1所述的多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，所述构建并初始化多粒度特征提取器和特征分类器，包括如下步骤：
4.根据权利要求3所述的多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，所述基于批次训练图像数据集，结合多粒度特征提取器和特征分类器训练得到超高清图像无监督域自适应识别模型，包括如下步骤：
5.根据权利要求4所述的多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，所述多粒度特征的计算公式为：
6.根据权利要求4所述的多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，所述源域的原型中心cs的计算公式为：
7.根据权利要求4所述的多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，所述域中内聚损失的表达式为：
8.根据权利要求4所述的多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，所述总损失的表达式为：
9.根据权利要求4所述的多粒度感知与原型驱动的超高清图像域自适应识别方法，其特征在于，所述总损失满足收敛条件，是指连续5个批次的总损失满足：
