本发明涉及图像识别处理领域，特别涉及一种基于局部目标数据增强的跨域小样本分类方法及系统。
背景技术：
1、随着计算机视觉领域的快速发展，在处理新领域或特殊领域的图像分类任务中，小样本图像分类方法因其面对有限的标记信息时，利用少量的标记样本也能够取得良好的效果，而逐渐成为了重要的技术手段。
2、现有技术中，在利用小样本图像分类模型进行跨域学习时，通常会引入多个源域能够优化特定领域的模型，然而当目标域与训练的源域存在显著的域偏移时，模型的性能就会受到较大影响，由于领域间距的存在，现有技术中的跨域小样本模型在目标域上的泛化性能较差。
3、因此，如何设计一种小样本分类方法，以提高在跨域学习时，小样本分类模型对目标域的泛化能力。
技术实现思路
1、基于此，本发明的目的是提供一种基于局部目标数据增强的跨域小样本分类方法及系统，通过设计一种剪切混合方法，对源域的图像数据和少量目标域的图像数据进行局部数据增强，以使得最终的小样本分类模型更好地适应目标域，再通过随机数据增强两组查询集图像进行剪切混合得到增强查询图像，分析增强图像和原始图像的预测之间的关系，并运用对比学习方法比较其二者局部特征之间的关系，以提高最终小样本分类模型对目标域数据的判别能力，本发明极大地提高了跨域小样本分类的泛化能力。
2、本发明提出的一种基于局部目标数据增强的跨域小样本分类方法，包括：
3、获取查询图像数据集和支持图像数据集，所述查询图像数据集包括源域查询图像数据和目标域查询图像数据，所述支持图像数据集包括源域支持图像数据和目标域支持图像数据，对所述查询图像数据集进行随机空间数据增强处理，以获取增强查询图像数据集，所述增强查询图像数据集包括源域增强查询图像数据和目标域增强查询图像数据；
4、将所述查询图像数据集和所述增强查询图像数据集输入剪切混合模块中，根据所述查询图像数据集进行剪切混合，以获取查询集原始图像数据，根据所述增强查询图像数据集进行剪切混合，以获取查询集增强图像数据；
5、将所述查询集原始图像数据、所述查询集增强图像数据和所述支持图像数据集输入特征处理模块，以获取域特定特征和域无关特征，根据所述域特定特征获取域标签，以输入域分类器获取域分类得分；
6、将所述域无关特征输入小样本分类模块，以进行分类预测，再根据局部特征对比学习算法进行局部特征优化。
7、综上，根据上述基于局部目标数据增强的跨域小样本分类方法，通过设计一种剪切混合方法，对源域的图像数据和少量目标域的图像数据进行局部数据增强，以使得最终的小样本分类模型更好地适应目标域，再通过随机数据增强两组查询集图像进行剪切混合得到增强查询图像，分析增强图像和原始图像的预测之间的关系，并运用对比学习方法比较其二者局部特征之间的关系，以提高最终小样本分类模型对目标域数据的判别能力，本发明极大地提高了跨域小样本分类的泛化能力。具体为，获取查询图像数据集和支持图像数据集，所述查询图像数据集包括源域查询图像数据和目标域查询图像数据，所述支持图像数据集包括源域支持图像数据和目标域支持图像数据，对所述查询图像数据集进行随机空间数据增强处理，以获取增强查询图像数据集，所述增强查询图像数据集包括源域增强查询图像数据和目标域增强查询图像数据，极大地丰富了同一张图像的增强图像，而不会造成增强图像与原始图像有较大的语义差异，将所述查询图像数据集和所述增强查询图像数据集输入剪切混合模块中，根据所述查询图像数据集进行剪切混合，以获取查询集原始图像数据，根据所述增强查询图像数据集进行剪切混合，以获取查询集增强图像数据，将所述查询集原始图像数据、所述查询集增强图像数据和所述支持图像数据集输入特征处理模块，以获取域特定特征和域无关特征，根据所述域特定特征获取域标签，以输入域分类器获取域分类得分，将所述域无关特征输入小样本分类模块，以进行分类预测，再根据局部特征对比学习算法进行局部特征优化，极大地提高了最终小样本分类模型对目标域数据的判别能力，本发明极大地提高了跨域小样本分类的泛化能力。
8、进一步的，所述根据所述查询图像数据集进行剪切混合，以获取查询集原始图像数据，根据所述增强查询图像数据集进行剪切混合，以获取查询集增强图像数据的步骤，具体包括：
9、根据查询图像数据集进行随机空间数据增强处理，所述随机空间数据增强处理包括对查询图像数据集中的图像进行整体或内部翻转、倒置，以获取增强查询图像数据集；
10、选取查询图像数据集内源域查询图像数据中的单个图像区域，将所述图像区域与查询图像数据集内目标域查询图像数据中的对应图像区域进行替换，以剪切混合生成查询集原始图像数据，所述剪切混合生成查询集原始图像数据的公式如下：
11、
12、
13、其中，表示查询集原始图像数据，表示图像的边长比例，表示源域查询图像数据，表示目标域查询图像数据，表示查询集原始图像数据的标签数据，表示源域查询图像数据的标签数据，表示目标域查询图像数据的标签数据；
14、再对增强查询图像数据集进行剪切混合，以生成查询集增强图像数据。
15、进一步的，所述将所述查询集原始图像数据、所述查询集增强图像数据和所述支持图像数据集输入特征处理模块，以获取域特定特征和域无关特征的步骤，具体包括：
16、将查询集原始图像数据、查询集增强图像数据和支持图像数据集输入特征处理模块，所述特征处理模块包括孪生特征提取块和特征解耦块；
17、所述孪生特征提取块的第一特征提取块对所述查询集原始图像数据和所述支持图像数据集中的源域支持图像数据和目标域支持图像数据进行特征提取，再将提取后的所有图像特征输入特征解耦块，以将所述图像特征分解为域特定特征和域无关特征，所述域特定特征包括源域支持图像特定特征、目标域支持图像特定特征和查询集原始图像特定特征，所述域无关特征包括源域支持图像无关特征、目标域支持图像无关特征和查询集原始图像无关特征；
18、所述孪生特征提取块的第二特征提取块对所述查询集增强图像数据进行特征提取，再将提取后的所有图像特征输入特征解耦块，以分解获取查询集增强图像无关特征，根据特征扰动算法进行过拟合消除，所述特征扰动算法如下：
19、
20、其中，表示查询集原始图像无关特征，表示查询集增强图像无关特征，表示特征扰动项，所述特征扰动项包括所述查询集增强图像无关特征从正态分布中采样得到的噪声；
21、以根据所述域特定特征获取域标签，以输入域分类器获取域分类得分；
22、再将所述域无关特征输入小样本分类模块，以进行分类预测。
23、进一步的，所述以根据所述域特定特征获取域标签，以输入域分类器获取域分类得分的步骤，具体包括：
24、获取源域支持图像特定特征的域标签和目标域支持图像特定特征的域标签，以计算获得查询集原始图像特定特征的域标签，其中表示图像的边长比例；
25、将所有域特定特征和对应的域标签输入域分类器，并计算域分类得分；
26、以根据域分类损失函数进行损失优化，所述域分类损失函数如下：
27、
28、其中，表示域分类损失，表示交叉熵损失函数，表示源域支持图像特定特征，表示目标域支持图像特定特征，表示查询集原始图像特定特征，表示域分类器。
29、进一步的，所述再将所述域无关特征输入小样本分类模块，以进行分类预测的步骤，具体包括：
30、将源域支持图像无关特征、目标域支持图像无关特征和查询集原始图像无关特征输入小样本分类模块；
31、将所述查询集原始图像无关特征分别与所述源域支持图像无关特征和所述目标域支持图像无关特征进行小样本分类；
32、分别计算在源域上的预测分布和在目标域上的预测分布，并根据小样本分类损失函数进行损失优化，所述小样本分类损失函数如下：
33、
34、其中，表示小样本分类损失，表示图像的边长比例，表示交叉熵损失函数，表示查询集原始图像无关特征在源域上的预测分布，表示查询集原始图像无关特征在目标域上的预测分布，表示源域支持图像的小样本分类标签，表示目标域支持图像的小样本分类标签。
35、进一步的，所述小样本分类模块还包括：
36、小样本分类模块还包括小样本自监督学习块，将查询集增强图像无关特征输入小样本自监督学习块，所述小样本自监督学习块根据查询集原始图像的小样本分类标签进行小样本分类自监督增强，以使所有图片中不同区域图像的语义信息一致化，并根据小样本自监督学习损失函数进行损失优化，所述小样本自监督学习损失函数如下：
37、
38、其中，表示小样本自监督学习损失，表示查询集增强图像无关特征在源域上的预测分布，表示查询集增强图像无关特征在目标域上的预测分布。
39、进一步的，所述再根据局部特征对比学习算法进行局部特征优化的步骤，具体包括：
40、对查询集原始图像数据和查询集增强图像数据进行局部切片，以获取查询集原始局部图像和查询集增强局部图像；
41、根据特征特征处理模块中的孪生特征提取块分别提取查询集原始局部图像和查询集增强局部图像的局部图像特征，再根据特征解耦块进行所述局部图像特征的分解，以获取对应的域无关特征；
42、随机选择任一查询集原始局部图像作为锚点，并将查询集增强局部图像中同类图像的所有局部特征样本作为正样本，根据余弦距离来计算所述锚点与所述正样本每个位置对应的局部特征之间的距离，以比较所述锚点与所述正样本中局部特征之间在特征空间上的分布距离，同时选取查询集增强局部图像中任一异类图像的所有局部特征样本作为负样本，并比较所述锚点与所述负样本中局部特征之间在特征空间上的分布距离；
43、以根据局部特征对比学习损失函数进行损失优化，所述局部特征对比学习损失函数如下：
44、
45、其中，表示局部特征对比学习损失，表示局部特征数量，表示局部特征序数，表示余弦距离，表示锚点局部特征，表示正样本局部特征，表示负样本局部特征，表示边界参数，表示温度参数，表示最大值函数。
46、本发明提出的一种基于局部目标数据增强的跨域小样本分类系统，包括：
47、图像获取处理模块，用于获取查询图像数据集和支持图像数据集，所述查询图像数据集包括源域查询图像数据和目标域查询图像数据，所述支持图像数据集包括源域支持图像数据和目标域支持图像数据，对所述查询图像数据集进行随机空间数据增强处理，以获取增强查询图像数据集，所述增强查询图像数据集包括源域增强查询图像数据和目标域增强查询图像数据；
48、剪切混合模块，用于将所述查询图像数据集和所述增强查询图像数据集输入剪切混合模块中，根据所述查询图像数据集进行剪切混合，以获取查询集原始图像数据，根据所述增强查询图像数据集进行剪切混合，以获取查询集增强图像数据；
49、特征处理模块，用于将所述查询集原始图像数据、所述查询集增强图像数据和所述支持图像数据集输入特征处理模块，以获取域特定特征和域无关特征，根据所述域特定特征获取域标签，以输入域分类器获取域分类得分；
50、分类优化模块，用于将所述域无关特征输入小样本分类模块，以进行分类预测，再根据局部特征对比学习算法进行局部特征优化。
51、本发明还提供一种存储介质，所述存储介质存储一个或多个程序，所述程序被处理器执行时实现如上述的基于局部目标数据增强的跨域小样本分类方法。
52、本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，其中：
53、所述存储器用于存放计算机程序；
54、所述处理器用于执行所述存储器中存放的所述计算机程序时，实现如上述的基于局部目标数据增强的跨域小样本分类方法。
1.一种基于局部目标数据增强的跨域小样本分类方法，其特征在于，包括：
2.根据权利要求1所述的基于局部目标数据增强的跨域小样本分类方法，其特征在于，所述根据所述查询图像数据集进行剪切混合，以获取查询集原始图像数据，根据所述增强查询图像数据集进行剪切混合，以获取查询集增强图像数据的步骤，具体包括：
3.根据权利要求1所述的基于局部目标数据增强的跨域小样本分类方法，其特征在于，所述将所述查询集原始图像数据、所述查询集增强图像数据和所述支持图像数据集输入特征处理模块，以获取域特定特征和域无关特征的步骤，具体包括：
4.根据权利要求3所述的基于局部目标数据增强的跨域小样本分类方法，其特征在于，所述以根据所述域特定特征获取域标签，以输入域分类器获取域分类得分的步骤，具体包括：
5.根据权利要求3所述的基于局部目标数据增强的跨域小样本分类方法，其特征在于，所述再将所述域无关特征输入小样本分类模块，以进行分类预测的步骤，具体包括：
6.根据权利要求5所述的基于局部目标数据增强的跨域小样本分类方法，其特征在于，所述小样本分类模块还包括：
7.根据权利要求1所述的基于局部目标数据增强的跨域小样本分类方法，其特征在于，所述再根据局部特征对比学习算法进行局部特征优化的步骤，具体包括：
8.一种基于局部目标数据增强的跨域小样本分类系统，其特征在于，包括：
9.一种存储介质，其特征在于，所述存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-7任一项所述的基于局部目标数据增强的跨域小样本分类方法。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
