本发明涉及计算机视觉，具体而言，涉及一种少标注样本下基于多尺度分布校正的跨域遥感影像语义分割方法。
背景技术：
1、少样本图像语义分割(few-shotsemanticsegmentation)使用少量有标注样本训练模型，实现对图像的像素级分类。现有少样本图像分割方法普遍采用与新类相同分布的基类样本进行元训练，但是现实场景下往往难以找到与新类相同分布的训练样本。基于此，本发明涉及的少样本图像分割旨在采用不同分布样本进行跨域元训练，将元知识从具有足够训练标签的领域推广到低资源领域。现有少样本图像分割方法忽略了遥感影像的多尺度特性，且存在过度拟合偏差分布的问题。基于此，本发明涉及的少样本图像分割整合了不同尺度语义信息，并设计了正则化机制缓解过拟合问题。上述技术在城市规划、精准农业、森林巡检等实际高复杂、强动态场景应用中发挥关键作用。
2、随着深度学习的发展，结合元学习的迁移作用和度量学习的少样本适配性，少标注样本下的语义分割技术也取得了进步。例如，z.wang等人在文献“zichaowang,zhiyujiang,andyuanyuan.prototypequeuelearningformulti-classfew-shotsemanticsegmentation.inieeeinternationalconferenceonimageprocessing,2022,pp.1721-1725”设计了基于原型队列学习的少样本图像分割算法。然而，该技术往往采用大量同分布不同类别的训练样本进行迁移训练，现实场景下这些样本不易获得。近年来，也涌现了一些致力于解决跨域少样本分割问题的尝试。s.lei等人在文献“shuolei,xuchaozhang,jianfenghe,fanglanchen,bowendu
3、,andchang-tienlu.cross-domainfew-shotsemanticsegmentation.ineuropeanconferenceoncomputervision,2022,pp.73-90.”中评估了跨域任务的难度，并提出基于金字塔的模块，将域特定的特征转换为域不可知的特征。y.wang等人在文献“yixinwang,zhexu,jiangtian,jieluo,zhongchaoshi,yangzhang,jianpingfan,andzhiqianghe.cross-domainfew-shotlearningforrare-diseaseskinlesionsegmentation.inieeeinternationalconferenceonacoustics,speechandsignalprocessing,2022,pp.1086-1090.”中针对罕见病例样本有限问题探索了由自然域到医疗影像的少样本图像分割算法，设计了两个解码器分别作为特性知识和通用知识学习者交替更新挖掘了跨域可迁移的共性信息。h.chen等人文献“haochen,yonghandong,zheminglu,yunlongyu,andjungonghan.pixelmatchingnetworkforcross-domainfew-shotsegmentation.inieeewinterconferenceonapplicationsofcomputervision,2024,pp.978-987.”中使用双向3d卷积捕获了支持集和查询集之间像素到像素和像素到图像块之间的关系，并固定参数利用特征提取器完成了域无关的像素级匹配。以上方法对少样本图像分割的跨域应用进行了探索，但主要针对自然图像以及医疗图像，且主要局限于对图像的前背景的分割，而没有对多类别分割进一步探索。
4、此外，现有少样本图像分割方法缺乏对遥感影像多尺度特性的利用，对尺度差异较大的对象预测效果较弱。x.zhang等人在文献“xiaolinzhang,yunchaowei,yiyang,andthomass.huang.sg-one:similarityguidancenetworkforone-shotsemanticsegmentation.ieeetransactionsoncybernetics,50(9):3855-3865,2020.”设计的模型只提取单一尺度的语义原型完成预测，忽略了不同尺度下类别语义的差异。c.zhang等人在文献“chizhang,guoshenglin,fayaoliu,ruiyao,andchunhuashen.canet:class-agnosticsegmentationnetworkswithiterativerefinementandattentivefew-shotlearning.inieeeconferenceoncomputervisionandpatternrecognition,2019,pp.5217-5226.”中使用aspp模块在解码阶段提取了测试(查询)图片的多尺度信息，但是缺乏对训练(支持)图片的多尺度信息的利用。
技术实现思路
1、本发明实施例提供一种少标注样本下基于多尺度分布校正的跨域遥感影像语义分割方法，以至少解决现有技术中的语义分割模型需要大量的标签数据，对类内差异未约束，导致语义混叠，多分类分割精度低的技术问题。
2、根据本发明实施例的一个方面，提供了一种少标注样本下基于多尺度分布校正的跨域遥感影像语义分割方法。该方法可以包括：获取多张源域图像和每张源域图像中每个图像的类别标签；利用预设特征提取器分别对每张源域图像进行特征提取，得到每张源域图像的特征图；基于每张源域图像的特征图和每张源域图像中每个图像的类别标签，确定多张源域图像中每个类别的语义原型；对多张源域图像中每个类别的语义原型通过特征提取器提取过程的迭代轮次进行不断更新，得到最终更新后的每个类别的语义原型；基于最终更新后的每个类别的语义原型、最终更新后的全部类别的语义原型和每张源域图像的特征图，确定多张源域图像在最终更新后的每个类别的语义原型的概率图；基于多张源域图像在最终更新后的每个类别的语义原型的概率图，得到多张源域图像对应的预测分割结果；在得到多张源域图像的预测分割结果的过程中，通过跨域迁移校正模块、多尺度原型引导机制和原型反向引导模块对图像分割网络框架的参数进行调优，得到最终的图像分割网络框架；获取待检测目标域图像，将待检测目标域图像输入至最终的图像分割网络框架，得到待检测目标域图像的分割结果。
3、可选地，在确定多张源域图像最终更新后的每个类别的语义原型之后，获取多张目标域图像和每张目标域图像中每个图像的类别标签，将多张目标域图像进行等分，得到第一部分目标域图像和第二部分目标域图像，使用特征提取器分别对第一部分目标域图像和第二部分目标域图像中的每张目标域图像进行特征提取，得到第一部分目标域图像中每张目标域图像的特征图和第二部分目标域图像中每张目标域图像的特征图；基于第一部分目标域图像中每张目标域图像的特征图和每张目标域图像中每个图像的类别标签，确定第一部分目标域图像中每个类别的语义原型；使用度量函数计算第一部分目标域图像中每个类别的语义原型与多张源域图像最终更新后的每个类别的语义原型之间的初始原型相似度；基于初始原型相似度和预设超参，确定原型对比损失函数。
4、可选地，跨域迁移校正模块还包括：在确定多张源域图像在最终更新后的每个类别的语义原型的概率图之后，基于多张源域图像在最终更新后的每个类别的语义原型的概率图和每张源域图像中每个图像的类别标签，确定第一目标分割损失函数。
5、可选地，跨域迁移校正模块还包括：在确定多张源域图像在最终更新后的每个类别的语义原型的概率图之后，利用多张源域图像的最终更新后的每个类别的语义原型对第二部分目标域图像的每张目标域图像的特征图进行分割，得到第二部分目标域图像在每个类别的语义原型的概率图；基于第二部分目标域图像在每个类别的语义原型的概率图，得到第二部分目标域图像对应的预测分割结果；基于第二部分目标域图像在每个类别的语义原型的概率图和第二部分目标域图像的每张目标域图像中每个图像的类别标签，确定迁移对齐损失函数。
6、可选地，跨域迁移校正模块还包括：在确定多张源域图像在最终更新后的每个类别的语义原型的概率图之后，利用多张源域图像的最终更新后的每个类别的语义原型对第一部分目标域图像的每张目标域图像的特征图进行分割，得到第一部分目标域图像中每个类别的语义原型的概率图；将第一部分目标域图像中每个类别的语义原型的概率图通过第一函数进行处理，得到第一部分目标域图像的每一张目标域图像中每个类别的预测结果；通过预设特征提取器分别对第一部分目标域图像的每张目标域图像进行特征提取，得到第一部分目标域图像的每张目标域图像的特征图，将第一部分目标域图像的每张目标域图像的特征图输入至解码器中，得到第一部分目标域图像中每个类别对应的预测概率图，其中，每个类别对应一张预测概率图；基于第一部分目标域图像中每个类别的语义原型的概率图和第一部分目标域图像的每张目标域图像中每个图像的类别的预测结果，确定第二目标分割损失函数。
7、可选地，跨域迁移校正模块还包括：基于原型对比损失函数、第一目标分割损失函数、迁移对齐损失函数和第二目标分割损失函数，确定跨域迁移校正模块的总目标分割损失函数。
8、可选地，多尺度原型引导机制，包括：使用四种不同空间分辨率尺度的特征提取器分别对每张源域图像进行特征提取，得到每张源域图像的四种不同空间分辨率尺度的特征图；基于每张源域图像的每种不同空间分辨率尺度的特征图和每张源域图像中每个图像的类别标签，确定多张源域图像中每种空间分辨率下每个类别的语义原型；对多张源域图像中每种空间分辨率下每个类别的语义原型通过四种不同空间分辨率尺度的特征提取器提取过程的迭代轮次进行不断更新，得到最终更新后的每种空间分辨率下每个类别的语义原型；基于最终更新后的每种空间分辨率下每个类别的语义原型、最终更新后的四种空间分辨率下全部类别的语义原型和每张源域图像的四种不同空间分辨率尺度的特征图，确定多张源域图像在最终更新后的每种空间分辨率下每个类别的语义原型的概率图；将多张源域图像在最终更新后的每种空间分辨率下每个类别的语义原型的概率图的尺寸通过上采样操作，使最终更新后的每种空间分辨率下每个类别的语义原型的概率图的尺寸大小相同；将最终更新后的尺寸大小相同的每种空间分辨率下每个类别的语义原型的概率图进行融合，得到目标概率图；基于多张源域图像在最终更新后的每种空间分辨率下每个类别的语义原型的概率图和每张源域图像中每个图像的类别标签，确定多尺度原型引导机制的目标分割损失函数。
9、可选地，原型反向引导模块，包括：获取多张目标域图像，其中，每张目标域图像为无标签图像；利用预设特征提取器分别对每张无标签目标域图像进行特征提取，得到每张无标签目标域图像的特征图；利用第一部分目标域图像中每个类别的语义原型对每张无标签目标域图像的特征图进行分割，得到多张无标签目标域图像在每个类别的语义原型的概率图；多张无标签目标域图像在每个类别的语义原型的概率图通过第一函数进行处理，得到多张无标签目标域图像中每张无标签目标域图像中每个类别的伪标签；基于多张无标签目标域图像中每张无标签目标域图像中每个类别的伪标签和每张无标签目标域图像的特征图，得到多张无标签目标域图像中每个类别的语义原型；利用多张无标签目标域图像中每个类别的语义原型对第一部分目标域图像和第二部分目标域图像进行引导分割，得到第一部分目标域图像的无标签原型引导的概率图和第二部分目标域图像的无标签原型引导的概率图；根据第一部分目标域图像的无标签原型引导的概率图、第二部分目标域图像的无标签原型引导的概率图、第一部分目标域图像中每个图像的真实标签和第二部分目标域图像中每个图像的真实标签，确定原型反向引导模块的目标分割损失函数。
10、本发明的有益效果：
11、本发明提出了一种少标注样本下基于多尺度分布校正的跨域遥感影像语义分割方法，本发明将以往方法中用于元训练的相同分布的样本替换为不同分布的样本，并在特征层面和原型层面分别校正类别语义分布；在不同尺度上对图像进行特征提取和语义引导；利用原样本语义原型对其他样本预测获得标签，进而提取其他样本原型对原样本反向预测；多尺度原型提取模块和原型反向引导模块对分割结果进一步优化，解决了现有技术中的跨域遥感影像语义分割需要大量的标签数据，仅仅使用相同尺寸特征，样本语义分布差距大、分割精度低，的技术问题，达到了需要少量标签数据，充分利用了遥感影像的多尺度特性、减少了样本语义分布差距、提高了分类精度的技术效果。
1.一种少标注样本下基于多尺度分布校正的跨域遥感影像语义分割方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，跨域迁移校正模块包括：
3.根据权利要求1所述的方法，其特征在于，跨域迁移校正模块还包括：
4.根据权利要求1所述的方法，其特征在于，跨域迁移校正模块还包括：
5.根据权利要求1所述的方法，其特征在于，跨域迁移校正模块还包括：
6.根据权利要求1所述的方法，其特征在于，跨域迁移校正模块还包括：
7.根据权利要求1所述的方法，其特征在于，多尺度原型引导机制，包括：
8.根据权利要求1所述的方法，其特征在于，原型反向引导模块，包括：
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任意一项所述的方法。
