本发明属于计算机视觉领域，具体的说是一种基于自监督学习的小样本高光谱图像分类方法。
背景技术：
：：1、高光谱图像包含从数以百计的连续光谱波段中收集的大量光谱反射率数据，在城市测绘、农田测绘等方面有着重要的应用。高光谱遥感图像分类是高光谱图像应用中的一个关键问题。由于高光谱图像的标签成本较高，且样本获取困难，传统分类方法效果往往较差。2、针对标记样本稀缺的问题，研究者们通常用数据增广来直观的解决这一问题，但是，以上的数据增强办法无法从根本上解决样本稀缺的问题，近年来，受到人类通过少量样本即可识别新类的启发，研究者们提出了各种小样本学习策略，主要是基于元学习的方法与基于度量的方法。然而，不管是基于元学习的方法还是基于度量的方法都仍然依赖于大量的标记数据，而对于高光谱遥感数据，标记数据获取困难且昂贵。3、为了解决标记样本不足的问题，研究者们提出了自监督学习方法，取得了显著进展。自监督学习是一种从大规模未标记图像或视频中学习视觉特征的方法，可以避免这种繁琐昂贵的数据标注过程。作为学习有用图像表示的一种前景方法，自监督学习利用输入数据本身作为监督，有助于几乎所有类型的下游任务。但目前自监督任务往往设置比较简单，导致训练进行的不充分。4、综上所述,高光谱图像分类面临的两个主要问题分别为对拥有丰富标记数据的自然图像数据集利用不充分，以及高光谱图像中的少数标记数据用于识别效果不佳。技术实现思路1、本发明是为了解决上述现有技术存在的不足之处，提出一种基于自监督学习的小样本高光谱图像分类方法，以期能充分利用自然图像数据集，并使用少量标注高光谱样本进行微调从而能达到较好的高光谱图像分类效果。2、本发明为达到上述发明目的，采用如下技术方案：3、本发明一种基于自监督学习的小样本高光谱图像分类方法的特点在于，包括如下步骤：4、步骤1. 数据集划分：5、步骤1.1.获取带类别标签的基类数据集，其中，表示第个基类训练样本，表示第个基类训练样本的图像，表示第个基类训练样本的类别标签，且，表示基类集合，表示基类集合中的类别数量，表示每个基类中的训练样本数量；6、在基类集合中随机选取个类别，并在选取的每个类别中分别选取k个带类别标签的训练样本组成支持集，在选取的每个类别中再分别选取c个训练样本的图像组成查询集，且支持集与查询集的训练样本之间没有重叠，其中，表示第个基类支持样本，表示第个支持样本的图像，表示第个支持样本的类别标签，且，表示选取的类集合，表示选取的类别数量，表示第个基类查询样本的图像；7、步骤1.2获取含有部分标记的新类数据集，其中，表示有标签数据集，且，表示无标签数据集，且，其中，表示第个新类测试样本，表示第个新类测试样本的图像，表示第个新类测试样本的类别标签，且，表示新类集合，表示新类集合中的类别数量，表示第个新类无标签样本的图像，表示新类集合中每个类别的有标签训练样本数量，表示新类集合中每个类别的无标签训练样本数量；8、步骤2. 数据预处理：9、步骤2.1.对进行上采样后再划分为若干个图像块并随机拼接成一张自监督样本图像，并给予对应的自监督类别标签，从而构成第个自监督训练样本，进而得到带自监督类别标签的自监督数据集；10、步骤2.2.对进行一次随机高斯噪声处理后，生成一张噪声增强样本的图像，从而对中的每张图像通过多次噪声处理后，将中的样本数量扩充至，并得到扩充后的噪声增强数据集；其中，表示第v个噪声增强样本，表示第v个噪声增强样本的图像，表示的类别标签；11、在中随机选取个类，并在选取的每个类别中分别选取k个带标签样本组成新类支持集，之后在选取的每个类别中再分别选取c个训练样本的图像组成新类查询集，且新类支持集与新类查询集的样本之间没有重叠；其中，表示第个新类支持样本，表示第个新类支持样本的图像，表示第个新类支持样本的类别标签，且，表示选取的类集合，表示选取的类别数量，表示第个新类查询样本的图像；12、步骤2.3对无标签新类数据集中的进行对比增强，得到第个对比增强样本的图像，将与组成第k个增强图像对；13、步骤3. 搭建并训练小样本高光谱图像分类网络，包括：特征提取器g，基类自监督分类器m及新类对比学习提取器t；14、步骤3.1 在基类训练阶段，将和依次送入所述特征提取器g和基类自监督分类器m中进行处理，相应得到和的预测概率并用于构建基类训练总损失，以训练特征提取器g及基类自监督分类器m，得到更新后的特征提取器，记为h；15、步骤3.2在新类训练阶段，将，及依次送入更新后的特征提取器h和新类对比学习提取器t进行处理，相应得到的预测概率以及的类分布和的类分布并用于构建新类测试总损失，以对更新后的特征提取器h及新类对比学习提取器t进行训练，得到最优小样本高光谱图像分类模型，用于对高光谱图像进行分类识别。16、本发明所述的一种基于自监督学习的小样本高光谱图像分类方法的特点也在于，所述步骤3.1包括如下步骤：17、步骤3.1.1将和分别送入所述特征提取器g进行处理，相应得到的原始特征和的自监督特征；18、步骤3.1.2 利用式(1)计算中属于类的概率：19、 (1)20、式(1)中，是中第类的嵌入特征；是对预测得到的类别；21、步骤3.1.3所述基类自监督分类器m对处理，得到的预测概率；22、步骤3.1.4利用式(2)构建基类训练总损失：23、<mstyledisplaystyle="true"mathcolor="#000000"><mtablecolumnalign="left"><mtr><mtd><mo>{</mo><mtablecolumnalign="left"><mtr><mtd><mstyledisplaystyle="true"mathcolor="#000000"><mstyledisplaystyle="true"mathcolor="#000000"><mi>l</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><munderover><mi/><mi>b</mi><mrow><mi>f</mi><mi>s</mi><mi>l</mi></mrow></munderover></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>=</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>e</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><msub><mrow/><mrow><mi>s</mi><msub><mrow/><mi>b</mi></msub><mi>,</mi><mi>q</mi><msub><mrow/><mi>b</mi></msub></mrow></msub></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mo>[</mo><mrow><mi>−</mi><mstyledisplaystyle="true"><munder><mo>∑</mo><mrow><mi>x</mi><munderover><mi/><mi>n</mi><mi>q</mi></munderover><mi>∈</mi><mi>q</mi><msub><mrow/><mi>b</mi></msub></mrow></munder><mrow><mi>l</mi><mi>o</mi><mi>g</mi><mi>p</mi><mrow><mo>(</mo><mrow><mi>y</mi><munderover><mi/><mi>n</mi><mi>q</mi></munderover><mi>=</mi><mi>w</mi><mi>|</mi><mi>x</mi><munderover><mi/><mi>n</mi><mi>q</mi></munderover><mi>∈</mi><mi>q</mi><msub><mrow/><mi>b</mi></msub></mrow><mo>)</mo></mrow></mrow></mstyle></mrow><mo>]</mo></mstyle></mstyle></mtd></mtr><mtr><mtd><mstyledisplaystyle="true"mathcolor="#000000"><mi>l</mi><munderover><mi/><mi>b</mi><mi>ρ</mi></munderover><mi>=</mi><mi>e</mi><msub><mrow/><mrow><mi>x</mi><msub><mrow/><mi>i</mi></msub><mi>∼</mi><mi>d</mi><msub><mrow/><mi>b</mi></msub></mrow></msub><mrow><mo>[</mo><mstyledisplaystyle="true"><munder><mo>∑</mo><mrow><mstyledisplaystyle="true"mathcolor="#000000"><mi>∀</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>x</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><munderover><mi/><mi>i</mi><mi>p</mi></munderover></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>∈</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>p</mi></mstyle></mrow></munder><mrow><mi>−</mi><mi>l</mi><mi>o</mi><mi>g</mi><mi>r</mi><mrow><mo>(</mo><mrow><mi>f</mi><munderover><mi/><mi>i</mi><mi>p</mi></munderover></mrow><mo>)</mo></mrow></mrow></mstyle><mo>]</mo></mrow></mstyle></mtd></mtr><mtr><mtd><mstyledisplaystyle="true"mathcolor="#000000"><mi>l</mi><munderover><mi/><mi>b</mi><mrow><mi>t</mi><mi>o</mi><mi>t</mi><mi>a</mi><mi>l</mi></mrow></munderover><mi>=</mi><mi></mi><mi>l</mi><munderover><mi/><mi>b</mi><mrow><mi>f</mi><mi>s</mi><mi>l</mi></mrow></munderover><mi></mi><mi>+</mi><mi></mi><mi>l</mi><munderover><mi/><mi>b</mi><mi>p</mi></munderover></mstyle></mtd></mtr></mtable></mtd></mtr><mtr><mtd/></mtr></mtable></mstyle> (2)24、式(2)中，是基类小样本训练的损失，是基类自监督训练的损失；表示的类别分类期望，表示的自监督分类期望；25、步骤3.1.5通过最小化基类训练总损失来训练特征提取器g及基类自监督分类器m，并更新特征提取器参数，将更新后的特征提取器记为h。26、所述步骤3.2包括如下步骤：27、步骤3.2.1将，及分别送入更新后的特征提取器h进行处理，相应得到的特征，的特征及的特征；28、步骤3.2.2 利用式(3)计算中属于类的概率：29、 (3)30、式(2)中，是中第类的嵌入特征；是对预测得到的类别；31、步骤3.2.3所述新类对比学习提取器t分别对和进行处理后，得到的类分布和的类分布；32、步骤3.2.4利用式(4)构建新类测试总损失：33、<mstyledisplaystyle="true"mathcolor="#000000"><mtablecolumnalign="left"><mtr><mtd><mo>{</mo><mtablecolumnalign="left"><mtr><mtd><mstyledisplaystyle="true"mathcolor="#000000"><mstyledisplaystyle="true"mathcolor="#000000"><mi>l</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><munderover><mi/><mi>n</mi><mrow><mi>f</mi><mi>s</mi><mi>l</mi></mrow></munderover></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>=</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>e</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><msub><mrow/><mrow><mi>s</mi><msub><mrow/><mi>c</mi></msub><mi>,</mi><mi>q</mi><msub><mrow/><mi>c</mi></msub></mrow></msub></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mo>[</mo><mrow><mi>−</mi><mstyledisplaystyle="true"><munder><mo>∑</mo><mrow><mi>x</mi><munderover><mi/><mi>n</mi><mrow><mi>l</mi><mi>q</mi></mrow></munderover><mi>∈</mi><mi>q</mi><msub><mrow/><mi>c</mi></msub></mrow></munder><mrow><mi>l</mi><mi>o</mi><mi>g</mi><mi>p</mi><mrow><mo>(</mo><mrow><mi>y</mi><munderover><mi/><mi>n</mi><mrow><mi>l</mi><mi>q</mi></mrow></munderover><mi>=</mi><mi>w</mi><mi>|</mi><mi>x</mi><munderover><mi/><mi>n</mi><mrow><mi>l</mi><mi>q</mi></mrow></munderover><mi>∈</mi><mi>q</mi><msub><mrow/><mi>c</mi></msub></mrow><mo>)</mo></mrow></mrow></mstyle></mrow><mo>]</mo></mstyle></mstyle></mtd></mtr><mtr><mtd><mstyledisplaystyle="true"mathcolor="#000000"><mi>l</mi><munderover><mi/><mi>n</mi><mrow><mi>c</mi><mi>l</mi></mrow></munderover><mi>=</mi><mfrac><mi>1</mi><mi>2</mi></mfrac><mrow><mo>(</mo><mrow><mi>l</mi><mrow><mo>(</mo><mrow><mi>z</mi><munderover><mi/><mi>k</mi><mi>u</mi></munderover><mi>|</mi><mi>|</mi><mi>z</mi><munderover><mi/><mi>k</mi><mi>a</mi></munderover></mrow><mo>)</mo></mrow><mi>+</mi><mi>l</mi><mrow><mo>(</mo><mrow><mi>z</mi><munderover><mi/><mi>k</mi><mi>a</mi></munderover><mi>|</mi><mi>|</mi><mi>z</mi><munderover><mi/><mi>k</mi><mi>u</mi></munderover></mrow><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mstyle></mtd></mtr><mtr><mtd><mstyledisplaystyle="true"mathcolor="#000000"><mi>l</mi><mrow><mo>(</mo><mrow><mi>z</mi><munderover><mi/><mi>k</mi><mi>u</mi></munderover><mi>|</mi><mi>|</mi><mi>z</mi><munderover><mi/><mi>k</mi><mi>a</mi></munderover></mrow><mo>)</mo></mrow><mi>=</mi><mfrac><mi>1</mi><mrow><mstyledisplaystyle="true"mathcolor="#000000"><mi>n</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><msub><mrow/><mi>d</mi></msub></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>×</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mo>|</mo><mrow><mi>c</mi><msub><mrow/><mi>t</mi></msub></mrow><mo>|</mo></mstyle></mrow></mfrac><mstyledisplaystyle="true"><munderover><mo>∑</mo><mrow><mi>k</mi><mi>=</mi><mi>1</mi></mrow><mrow><mstyledisplaystyle="true"mathcolor="#000000"><mi>n</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><msub><mrow/><mi>d</mi></msub></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>×</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mo>|</mo><mrow><mi>c</mi><msub><mrow/><mi>t</mi></msub></mrow><mo>|</mo></mstyle></mrow></munderover><mrow><mi>d</mi><msub><mrow/><mrow><mi>k</mi><mi>l</mi></mrow></msub><mrow><mo>(</mo><mrow><mi>z</mi><munderover><mi/><mi>k</mi><mi>u</mi></munderover><mi>|</mi><mi>|</mi><mi>z</mi><munderover><mi/><mi>k</mi><mi>a</mi></munderover></mrow><mo>)</mo></mrow></mrow></mstyle><mi>+</mi><mfrac><mi>1</mi><mrow><mstyledisplaystyle="true"mathcolor="#000000"><mi>n</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><msub><mrow/><mi>d</mi></msub></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>×</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mo>|</mo><mrow><mi>c</mi><msub><mrow/><mi>t</mi></msub></mrow><mo>|</mo></mstyle></mrow></mfrac><mstyledisplaystyle="true"><munderover><mo>∑</mo><mrow><mi>k</mi><mi>=</mi><mi>1</mi></mrow><mrow><mstyledisplaystyle="true"mathcolor="#000000"><mi>n</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><msub><mrow/><mi>d</mi></msub></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>×</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mo>|</mo><mrow><mi>c</mi><msub><mrow/><mi>t</mi></msub></mrow><mo>|</mo></mstyle></mrow></munderover><mrow><mi>h</mi><mrow><mo>(</mo><mrow><mi>z</mi><munderover><mi/><mi>k</mi><mi>a</mi></munderover></mrow><mo>)</mo></mrow></mrow></mstyle><mi>−</mi><mi>h</mi><mrow><mo>(</mo><mrow><mfrac><mi>1</mi><mrow><mstyledisplaystyle="true"mathcolor="#000000"><mi>n</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><msub><mrow/><mi>d</mi></msub></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>×</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mo>|</mo><mrow><mi>c</mi><msub><mrow/><mi>t</mi></msub></mrow><mo>|</mo></mstyle></mrow></mfrac><mstyledisplaystyle="true"><munderover><mo>∑</mo><mrow><mi>k</mi><mi>=</mi><mi>1</mi></mrow><mrow><mstyledisplaystyle="true"mathcolor="#000000"><mi>n</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><msub><mrow/><mi>d</mi></msub></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mi>×</mi></mstyle><mstyledisplaystyle="true"mathcolor="#000000"><mo>|</mo><mrow><mi>c</mi><msub><mrow/><mi>t</mi></msub></mrow><mo>|</mo></mstyle></mrow></munderover><mrow><mi>z</mi><munderover><mi/><mi>k</mi><mi>a</mi></munderover></mrow></mstyle></mrow><mo>)</mo></mrow></mstyle></mtd></mtr><mtr><mtd><mstyledisplaystyle="true"mathcolor="#000000"><mi>l</mi><munderover><mi/><mi>n</mi><mrow><mi>t</mi><mi>o</mi><mi>t</mi><mi>a</mi><mi>l</mi></mrow></munderover><mi>=</mi><mi></mi><mi>l</mi><munderover><mi/><mi>n</mi><mrow><mi>f</mi><mi>s</mi><mi>l</mi></mrow></munderover><mi></mi><mi>+</mi><mi></mi><mi>l</mi><munderover><mi/><mi>n</mi><mrow><mi>c</mi><mi>l</mi></mrow></munderover></mstyle></mtd></mtr></mtable></mtd></mtr><mtr><mtd/></mtr></mtable></mstyle>(4)34、式(4)中，表示两个概率分布之间的kullback-leibler 散度，表示某一概率分布的熵值，是新类小样本测试损失，是新类对比学习损失，表示的类别分类期望，表示对比损失；35、步骤3.2.5通过adam优化器对更新后的特征提取器h及新类对比学习提取器t进行训练，并通过最小化损失来更新网络参数，从而得到由训练后特征提取器h和新类对比学习提取器t构成的最优小样本高光谱图像分类模型，用于对高光谱图像进行分类识别。36、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述基于自监督学习的小样本高光谱图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。37、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述基于自监督学习的小样本高光谱图像分类方法的步骤。38、与现有技术相比，本发明的有益效果在于：39、1、本发明设计了一种基于拼图任务的自监督方法。该方法通过设计拼图自监督任务，充分利用基类数据集中的大量数据来学习如何提取图像区域关系的低级特征，从而在基类数据上学习到更多可转移的空间元知识，提高模型的特征提取能力。40、2、本发明设计了一种基于增强图像对比学习的自监督方法。该方法通过对新类的未标记数据进行增强后的对比学习，从而挖掘新类数据中的类别不变特征，并在新类数据上学习更具区分性的个体知识，提升分类性能。当前第1页12当前第1页12
技术特征：1.一种基于自监督学习的小样本高光谱图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于自监督学习的小样本高光谱图像分类方法，其特征在于，所述步骤3.1包括如下步骤：
3.根据权利要求2所述的一种基于自监督学习的小样本高光谱图像分类方法，其特征在于，所述步骤3.2包括如下步骤：
4.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-3中任一所述基于自监督学习的小样本高光谱图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
5.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-3中任一所述基于自监督学习的小样本高光谱图像分类方法的步骤。
技术总结本发明公开了一种基于自监督学习的小样本高光谱图像分类方法，包括：1、将基类数据集划分为支持集和查询集，新类数据集划分为有标签数据集和无标签数据集；2、对基类数据集进行随机打乱拼图并给予标签，对有标签数据集进行样本扩充，并划分为支持集和查询集；3、搭建小样本高光谱图像分类网络；4、通过基类自监督训练完成特征提取器的参数更新，并使用更新后的特征提取器进行新类训练；5、通过Adam优化器来优化模型参数，以得到最优小样本高光谱图像分类模型。本发明通过基于拼图任务的自监督学习策略学习可转移的空间元知识，还通过基于增强图像的对比学习策略，学习更具判别性的个体知识，从而提高了高光谱图像的分类精度。
技术研发人员：梁栋,刘少杰,王科,方俊杰
受保护的技术使用者：安徽大学
技术研发日：技术公布日：2024/12/17
