本发明涉及深度学习，尤其是涉及一种基于自监督的两阶段广义小样本目标检测方法及系统。
背景技术：
1、目标检测长期以来一直是计算机视觉领域中的核心任务之一，随着神经网络的出现，常规的基于深度学习的目标检测任务得到了十足发展，并且已经取得了令人瞩目的成果。它们取得良好性能的前提是使用大量有标签的数据，然而现实生活中许多类别却没有足够的数据。这种情况导致在数据分布极度不均匀的任务上，常规的目标检测表现出的性能无法令人满意。因此，许多学者对此问题展开研究。
2、小样本目标检测(fsod)任务作为一种使用数量较少的训练集来构建准确的机器学习模型的方法，由于其具有较好的应用前景，在当前的研究中引起了广泛的关注。相关方法主要分为基于元学习的方法和基于微调的方法。基于元学习的方法通过构建元任务使得在小样本情况下快速适应新任务，而基于微调的方法首先在拥有大量样本的基类集上进行预训练，然后冻结特征提取参数，使用少量样本进行微调。然而，在同时检测可见类和不可见类的小样本目标检测(gfsod)任务中，这两种类别方法的仅在新类上表现出优异的性能，而在基类上出现了性能衰退的情况。其局限性在于并没有考虑到随着新类的学习，会有新潜在知识出现的情况，同时也没有考虑到随着新类的学习，模型总体性能会受基类遗忘的影响导致发生下降的问题。
技术实现思路
1、针对上述问题，本发明提供了一种基于自监督的两阶段广义小样本目标检测方法及系统，旨在克服广义小样本学习场景中在学习新类时遗忘基类的问题，并且有效解决稀有案例的场景下目标检测困难的问题。通过利用潜在知识和自监督学习来尽可能保存从基类学习到的知识，从而在学习到新类的知识之后还可以对基类的知识进行良好的保存，实现同时对于基类和新类都有良好的目标检测能力。
2、为实现上述目的，本发明提供了一种基于自监督的两阶段广义小样本目标检测方法，包括：
3、构建潜在知识分类器，包括潜在特征模块和原型分类器模块；
4、定义潜在知识容器存放所有的潜在知识，定义原型容器存放要检测的各类候选框的原型；
5、将训练数据集按类别划分为拥有大量样本的基类集和拥有少量样本的新类集；
6、自监督类别域基于所述基类集、新类集的潜在知识分别对双阶段检测模型进行预训练和微调；
7、自监督检测框域基于所述基类集、新类集的潜在知识分别对双阶段检测模型进行预训练和微调，得到最终的检测模型；
8、向得到的最终的检测模型中输入待检测图像，通过特征提取器得到roi特征，经全连接层降维后基于所述潜在知识容器对所述待检测图像进行潜在知识搜索，根据搜索到的潜在知识对所述待检测图像的特征进行分割，得到所述待检测图像的特征与各潜在知识之间的关系；
9、基于所述原型容器中各类候选框的所有潜在知识真实概率分布和所述待检测图像的特征与各潜在知识之间的关系，通过所述原型分类器模块对待检测图像进行分类，得到目标检测结果。
10、作为本发明的进一步改进，所述双阶段检测模型采用双阶段faster rcnn网络模型。
11、作为本发明的进一步改进，自监督类别域基于所述基类集的潜在知识对双阶段检测模型进行预训练，包括：
12、对所述基类集中的训练样本分别进行颜色变换和平移变换，得到两组基类扩充样本，两组基类扩充样本一一对应；
13、对两组基类扩充样本中相对应的各对样本逐个利用权重共享的特征提取器获取roi特征；
14、所述roi特征经全连接层降维后，基于所述潜在知识容器进行潜在知识搜索，计算与各潜在知识的余弦相似性得分，所述潜在知识容器存放基类集的所有潜在知识；
15、自监督任务通过余弦相似性损失对roi特征进行约束，并通过所述原型分类器模块计算类概率约束类别，得到预训练后的双阶段检测模型。
16、作为本发明的进一步改进，自监督类别域基于所述新类集的潜在知识对双阶段检测模型进行微调，包括：对预训练后的双阶段检测模型，基于新类集进行微调；
17、其中，对新类集中样本分别进行颜色变换和平移变换，得到两组新类扩充样本，两组新类扩充样本一一对应；
18、对两组新类扩充样本中相对应的各对样本逐个利用权重共享的特征提取器获取roi特征；
19、所述roi特征经全连接层降维后，基于所述潜在知识容器进行潜在知识搜索，计算与各潜在知识的余弦相似性得分，所述潜在知识容器存放基类集和新类集的所有潜在知识；
20、自监督任务通过余弦相似性损失对roi特征进行约束，梯度更新自监督模块中的基类潜在知识，并通过原型分类器模块计算类概率约束类别，得到微调后的双阶段检测模型。
21、作为本发明的进一步改进，自监督检测框域基于所述基类集对双阶段检测模型进行预训练，包括：
22、对基类集样本分别进行颜色变换和平移变换，得到两组基类扩充样本，两组基类扩充样本一一对应；
23、对两组基类扩充样本中相对应的各对样本逐个利用权重共享的特征提取器获取两组roi特征；
24、两组roi特征分别经全连接层降维，再由全连接层和relu组成的检测头得到两组回归框；
25、将两组回归框对应与经过颜色变换的真实检测框、经过平行变换的真实检测框进行对比，进行样本匹配的目标分配约束；
26、将两组回归框利用权重共享的嵌入网络提取对应的框特征，将两组框特征进行对比学习，并动量更新所述原型容器中的候选框。
27、作为本发明的进一步改进，自监督检测框域基于所述新类集对双阶段检测模型进行微调，得到最终的检测模型；包括：
28、对新类集样本分别进行颜色变换和平移变换，得到两组新类扩充样本，两组基类扩充样本一一对应；
29、对两组新类扩充样本中相对应的各对样本逐个利用权重共享的特征提取器获取两组roi特征；
30、两组roi特征分别经全连接层降维，再由全连接层和relu组成的检测头得到两组回归框；
31、将两组回归框对应与经过颜色变换的真实检测框、经过平行变换的真实检测框进行对比，进行样本匹配的目标分配约束；
32、将两组回归框利用权重共享的嵌入网络提取对应的框特征，将两组框特征进行对比学习，并动量更新所述原型容器中的候选框。
33、作为本发明的进一步改进，所述定义潜在知识容器存放所有的潜在知识，定义原型容器存放要检测的各类候选框的原型；包括：
34、定义一个潜在知识容器q＝{qi∈rm,i＝1,…,n}，n和m分别表示潜在知识的个数和维数，qi表示潜在知识，r表示潜在知识的维度；
35、定义一个原型容器c代表检测模型要检测候选框类别的个数，表示第α类候选框中第β个潜在知识的得分，m表示候选框对应潜在知识的数量；
36、在自监督类别域基于所述基类集对双阶段检测模型进行预训练时，c＝|cbase|+1；在自监督类别域基于所述新类集对双阶段检测模型进行微调时，c＝|cbase|+|cnovel|+1，cbase表示基类集中候选框的个数，cnovel表示新类集中候选框的数量。
37、作为本发明的进一步改进，所述向得到的最终的检测模型中输入待检测图像，通过特征提取器得到roi特征，经全连接层降维后基于所述潜在知识容器对所述待检测图像进行潜在知识搜索，根据搜索到的潜在知识对所述待检测图像的特征进行分割，得到所述待检测图像的特征与各潜在知识之间的关系；包括：
38、roi特征经全连接层降维至与所述潜在知识容器中的潜在知识维度一致，得到特征；
39、通过余弦相似度计算降维后的特征与所述潜在知识容器中各潜在知识之间的相似性得分。
40、作为本发明的进一步改进，所述基于所述原型容器中各类候选框的所有潜在知识真实概率分布和所述待检测图像的特征与各潜在知识之间的关系，通过所述原型分类器模块对待检测图像进行分类，得到目标检测结果；包括：
41、将计算得到的降维后特征与所述潜在知识容器中各潜在只是之间的相似性得分与所述原型容器各类候选框的原型进行余弦相似度判断；
42、经过softmax层后得到待检测图像属于各候选框类别的概率，取概率最大的候选框作为待检测图像的目标检测结果。
43、本发明还提供了一种基于自监督的两阶段广义小样本目标检测系统，包括：潜在知识分类器构建模块、自监督类别域预训练及微调模块、自监督检测框域预训练及微调模块、图像检测模块和检测结果获取模块；
44、所述潜在知识分类器构建模块，用于：
45、构建潜在知识分类器，包括潜在特征模块和原型分类器模块；
46、定义潜在知识容器存放所有的潜在知识，定义原型容器存放要检测的各类候选框的原型；
47、所述自监督类别域预训练及微调模块，用于：
48、将训练数据集按类别划分为拥有大量样本的基类集和拥有少量样本的新类集；
49、自监督类别域基于所述基类集、新类集分别对双阶段检测模型进行预训练和微调；
50、所述自监督检测框域预训练及微调模块，用于：
51、自监督检测框域基于所述基类集、新类集分别对双阶段检测模型进行预训练和微调，得到最终的检测模型；
52、所述图像检测模块，用于：
53、向得到的最终的检测模型中输入待检测图像，通过特征提取器得到roi特征，经全连接层降维后基于所述潜在知识容器对所述待检测图像进行潜在知识搜索，根据搜索到的潜在知识对所述待检测图像的特征进行分割，得到所述待检测图像的特征与各潜在知识之间的关系；
54、所述检测结果获取模块，用于：
55、基于所述原型容器中各类候选框的所有潜在知识真实概率分布和所述待检测图像的特征与各潜在知识之间的关系，通过所述原型分类器模块对待检测图像进行分类，得到目标检测结果。
56、与现有技术相比，本发明的有益效果为：
57、本发明针对广义小样本目标检测中候选框类别间无法建立联系的问题提出了使用潜在知识，通过特征提取使相似候选类有相似的潜在知识表示，从而通过潜在知识构建了候选框类别与类别之间的联系，从而在模型预训练后学习新类时，可以将基类与新类的知识产生联系，进而实现对新类准确的目标检测。
58、本发明对于广义小样本目标检测中基类遗忘的问题，本发明提出了设计了自监督学习的方法，为潜在特征构建提供更多约束，在一定程度上缓解了基类受模型微调和新类中潜在知识所产生的负面影响，提升了检测模型的总体性能。
59、本发明分别在类别域和检测框域使用自监督学习进行训练，实现缓解模型基类性能的下降；首先在基类训练时使用自监督学习为潜在特征构建模块提供更多约束和视角，通过停止梯度回传避免出现训练崩塌的问题。然后新类训练时使用自监督学习通过构建代理任务，从而约束模型在基类训练时学习到的特征。在自监督学习的帮助下，本发明所提出的方法可以最大程度上保证在基类上学习到的知识不被遗忘掉，实现模型对于基类和新类都具有良好的特征提取能力，进而对于基类和新类都拥有良好的目标检测能力。
1.一种基于自监督的两阶段广义小样本目标检测方法，其特征在于，包括：
2.根据权利要求1所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于：所述双阶段检测模型采用双阶段faster rcnn网络模型。
3.根据权利要求1所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于，自监督类别域基于所述基类集的潜在知识对双阶段检测模型进行预训练，包括：
4.根据权利要求1所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于，自监督类别域基于所述新类集的潜在知识对双阶段检测模型进行微调，包括：对预训练后的双阶段检测模型，基于新类集进行微调；
5.根据权利要求1所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于：自监督检测框域基于所述基类集对双阶段检测模型进行预训练，包括：
6.根据权利要求1所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于，自监督检测框域基于所述新类集对双阶段检测模型进行微调，得到最终的检测模型；包括：
7.根据权利要求1所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于：所述定义潜在知识容器存放所有的潜在知识，定义原型容器存放要检测的各类候选框的原型；包括：
8.根据权利要求1所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于：所述向得到的最终的检测模型中输入待检测图像，通过特征提取器得到roi特征，经全连接层降维后基于所述潜在知识容器对所述待检测图像进行潜在知识搜索，根据搜索到的潜在知识对所述待检测图像的特征进行分割，得到所述待检测图像的特征与各潜在知识之间的关系；包括：
9.根据权利要求1所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于：所述基于所述原型容器中各类候选框的所有潜在知识真实概率分布和所述待检测图像的特征与各潜在知识之间的关系，通过所述原型分类器模块对待检测图像进行分类，得到目标检测结果；包括：
10.一种基于自监督的两阶段广义小样本目标检测系统，实现如权利要求1～9任一项所述的基于自监督的两阶段广义小样本目标检测方法，其特征在于，包括：潜在知识分类器构建模块、自监督类别域预训练及微调模块、自监督检测框域预训练及微调模块、图像检测模块和检测结果获取模块；
